第 6 课,共 12 课

训练超参数

参数块控制训练的节奏。默认值是靠谱的起点;下面是每个旋钮的作用:

  • lr(学习率):2e-4 是 LoRA 的标准起点。过大的值(如 1.0)会把训练炸掉——loss 飞天。
  • epochs:对数据集的完整遍数;小数据集通常 2–3 遍够用。
  • bs × gacc:有效批次大小;小内存机器选小 bs 加梯度累积。
  • maxlen:每条样本的最大 token 数;超长截断。
  • eval_pct:留作验证的数据比例(建议 10–20%)。零表示关闭验证切分。
  • warmup / seed / patience:学习率热身、可复现性、评估损失不再改善时的早停。
参数块
提示:步数 = ceil(训练样本 ÷ 有效批次) × epochs——估算器和队列弹窗里显示的就是这个数。
课程目录 · 第 6 课,共 12 课
TheTensorTune workbench