Nach dem Training nutzen Sie die chat-Taste am Train-Block (oder in einer Lauf-Zeile der Historie), um mit Ihrem neuen Modell zu sprechen:
- Modi: Adapter (schnell — Basis + Adapter), Merged (falls ein Merge existiert) und Base (das Original, zum Vergleich).
- Sampling: Die Chat-Oberfläche antwortet mit Temperature 0,7 und bis zu 96 neuen Tokens; beides ist über die API (
temperature,max_new) exakt einstellbar. - Die Konversation ist multi-turn — das Modell sieht den bisherigen Kontext.
- Frühes Stoppen ist normal: Das Modell erzeugt EOS, wenn die Antwort vollständig ist.
Tipp: Werden die Antworten Unsinn, war die Lernrate zu hoch — siehe Lektion 6. Niedriger Loss + Antworten im Stil der Daten = erfolgreicher Lauf.
