درس 3 از ۱۲

دیتاست: فرمت، آپلود و بررسی کیفیت

بلوک Dataset ورودی آموزش است. سه فرمت پشتیبانی می‌شود و می‌توانید فایل آپلود کنید یا متن را مستقیم در کادر بچسبانید:

  • {"messages": [{"role":"user",...},{"role":"assistant",...}]} — گفتگو (پیشنهادی؛ فقط پاسخ دستیار آموزش می‌بیند)
  • {"prompt": "...", "completion": "..."} — تکمیل
  • {"text": "..."} یا هر خط متن ساده — متن آزاد

پس از آپلود، دکمه‌ی بررسی کیفیت گزارش کامل می‌دهد: تعداد نمونه‌ها، ترکیب فرمت‌ها، نمونه‌های تکراری، زبان‌های شناسایی‌شده، هیستوگرام طول کاراکتر/توکن و هشدارها. دیتاست فارسی و ایموجی کاملاً پشتیبانی می‌شود.

گزارش کیفیت دیتاست
نکته: حداقل ۲ نمونه لازم است؛ نمونه‌های بلندتر از ~6000 کاراکتر هشدار می‌گیرند چون در maxlen بریده می‌شوند. برای eval تمیز، نمونه‌های تکراری را حذف کنید.
فهرست دوره · درس 3 از ۱۲
TheTensorTune workbench