Урок 3 из 12

Датасет: форматы, загрузка и качество

Блок Dataset — вход обучения. Поддерживаются три формата — загрузите файл или вставьте текст прямо:

  • {"messages": [{"role":"user",...},{"role":"assistant",...}]} — чат (рекомендуется; обучается только реплика assistant)
  • {"prompt": "...", "completion": "..."} — промпт/дополнение
  • {"text": "..."} или любая строка — свободный текст

После загрузки кнопка Check quality выдаёт полный отчёт: количество примеров, смес форматов, дубликаты, определённые языки, гистограмму длины в символах/токенах и предупреждения. Персидский и эмодзи поддерживаются полностью.

Отчёт о качестве датасета
Совет: минимум 2 примера; примеры длиннее ~6000 символов получают предупреждение — maxlen их обрезает. Уберите дубликаты для чистого eval-сплита.
Оглавление курса · Урок 3 из 12
TheTensorTune workbench