Урок 6 из 12

Гиперпараметры обучения

Блок Params задаёт ритм обучения. Дефолты разумны для старта; вот что делает каждая ручка:

  • lr (learning rate): 2e-4 — стандартная отправная точка LoRA. Очень большие значения (например, 1.0) взрывают запуск — loss улетает.
  • epochs: полные проходы по датасету; для маленьких наборов обычно хватает 2–3.
  • bs × gacc: эффективный размер батча; на слабых машинах берите маленький bs с накоплением градиентов.
  • maxlen: максимум токенов на пример; длинное обрезается.
  • eval_pct: доля данных под валидацию (рекендуется 10–20%). Ноль отключает eval-сплит.
  • warmup / seed / patience: разгон learning rate, воспроизводимость и ранняя остановка, когда eval loss перестаёт улучшаться.
Блок параметров
Совет: шаги = ceil(обучающие примеры ÷ эффективный батч) × epochs — то же число видно в оценщике и модалке очереди.
Оглавление курса · Урок 6 из 12
TheTensorTune workbench