12レッスン中のレッスン 3

データセット:形式、アップロード、品質

Datasetブロックが学習の入力です。3つの形式に対応 — ファイルをアップロードするか、テキストを直接貼り付け:

  • {"messages": [{"role":"user",...},{"role":"assistant",...}]} — チャット(推奨。assistantのターンのみ学習)
  • {"prompt": "...", "completion": "..."} — プロンプト/補完
  • {"text": "..."} または任意のプレーン行 — 自由テキスト

アップロード後、Check qualityが完全なレポートを出します:サンプル数、形式の構成、重複、検出言語、文字/トークン長のヒストグラム、警告。ペルシャ語と絵文字は完全サポートです。

データセット品質レポート
ヒント:最低2サンプルが必要。~6000文字を超えるサンプルはmaxlenで切られるため警告が出ます。検証スプリットを綺麗に保つには重複除去を。
コース目次 · 12レッスン中のレッスン 3
TheTensorTune workbench