12レッスン中のレッスン 6

学習のハイパーパラメータ

Paramsブロックが学習のリズムを制御します。デフォルトは堅実な出発点。各ノブの役割:

  • lr(学習率):2e-4がLoRAの標準出発点。極端に大きい値(例:1.0)はランを吹き飛ばし、lossが発散します。
  • epochs:データセットの完全周回数。小さいセットなら2〜3で十分なことが多い。
  • bs × gacc:実効バッチサイズ。非力なマシンでは小さいbs+グラディエント蓄積を。
  • maxlen:サンプルあたりの最大トークン数。超過分は切り詰め。
  • eval_pct:検証に取っておくデータの割合(10〜20%推奨)。ゼロで検証スプリット無効。
  • warmup / seed / patience:学習率の助走、再現性、eval lossが改善しない時の早期停止。
paramsブロック
ヒント:ステップ数 = ceil(学習サンプル ÷ 実効バッチ) × epochs — 見積もりツールとキューモーダルに表示されるのと同じ数字です。
コース目次 · 12レッスン中のレッスン 6
TheTensorTune workbench