-
Notifications
You must be signed in to change notification settings - Fork 648
DPA3的微调步数 #5164
Unanswered
Zhou-tao-USTC
asked this question in
Q&A
DPA3的微调步数
#5164
在一份文献的支撑材料中看到一下段落,其中提到所采用的微调步数为1000000步,是否对于界面反应,就是需要这么多的微调步数
Uploading 8b86e63a87e403dd4d4edf7fd39d91a6.png...
All reactions
Replies: 1 comment
不需要因为研究界面反应就固定微调 1,000,000 步。numb_steps 是优化器更新次数,其合适数值取决于数据量、batch size、学习率衰减、预训练模型与目标体系的差异,而不是由"界面反应"这一类别直接决定。论文中的一百万步只是该论文数据和训练设置下的选择。
更可靠的做法是:
- 单独保留验证集,覆盖反应物、产物、过渡区域、界面构型和可能出现的短原子间距;
- 定期保存 checkpoint,并比较验证集的能量、力和维里误差,而不只看训练误差;
- 当验证误差不再改善或开始变差时停止;
- 用候选 checkpoint 做短程 MD、结构弛豫和模型偏差测试,确认动力学稳定性;
- 微调通常使用比从头训练更小的学习率。可以先运行较短阶段,例如
1e4–1e5步,再根据验证曲线决定是否继续,而不是一开始照搬1e6。
如果训练集没有覆盖真正的成键/断键路径和高能短程构型,单纯增加步数只会重复拟合已有数据,不能补足反应区域的可靠性。
Coding agent: Codex
Codex version: codex-cli 0.149.0
Model: gpt-5.6-sol
Reasoning effort: xhigh
All reactions
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment