هایپرپارامترهای آموزش

بلوک Params ریتم آموزش را کنترل می‌کند. مقادیر پیش‌فرض برای شروع خوب‌اند؛ این توضیح کوتاه به شما در تنظیم آگاهانه کمک می‌کند:

• lr (نرخ یادگیری): 2e-4 نقطه‌ی شروع استاندارد LoRA است. مقادیر خیلی بزرگ (مثلاً 1.0) آموزش را منفجر می‌کند و loss را به بی‌نهایت می‌فرستد.
• epochs: گذر روی کل دیتاست؛ ۲–۳ گذر برای دیتاست‌های کوچک معمولاً کافی است.
• bs × gacc: اندازه‌ی batch مؤثر؛ روی ماشین‌های کم‌حافظه bs کوچک + انباشت گرادیان (gacc) را انتخاب کنید.
• maxlen: حداکثر طول توکن هر نمونه؛ نمونه‌های بلندتر بریده می‌شوند.
• eval_pct: درصد دیتاست برای اعتبارسنجی (پیشنهاد: ۱۰–۲۰). صفر یعنی بدون split اعتبارسنجی.
• warmup / seed / patience: گرم‌کردن نرخ یادگیری، تکرارپذیری، و توقف زودهنگام وقتی eval loss بهبود نمی‌کند.