Vom Adapter zu Ollama: der Export von Ende zu Ende

Das Training kriegt den ganzen Ruhm, aber die letzte Meile des Finetunings ist der Export — der Moment, in dem Ihr getuntes Modell aufhört, ein Verzeichnis voller Trainingsüberreste zu sein, und zu einer einzigen Datei wird, die man anderen Tools reichen kann. Dieser Beitrag geht diese Meile in TheTensorTune: Was beim Druck auf GGUF tatsächlich passiert, welches Quant Sie wählen und wie Sie das Ergebnis in Ollama zum Laufen bringen, bevor Ihr Tee kalt ist.

Was Sie nach dem Training haben

Ein LoRA-Lauf verändert das Basismodell nicht. Er schreibt einen Adapter — eine kleine Datei aus niederrangigen Matrizen, meistens Dutzende Megabyte groß, die festhält, was der Lauf gelernt hat. Das Basismodell bleibt exakt so, wie Sie es heruntergeladen haben, und der Adapter ergibt nur Sinn, wenn er danebenliegt. Deshalb bietet der Chat einen Merged-Modus: Er wendet den Adapter im Speicher auf die Basisgewichte an, damit Sie mit dem kombinierten Modell sprechen. Und deshalb gibt es einen Base-Modus — um das „Davor“ zu hören, ohne dass das „Danach“ es einfärbt.

Adapter plus Basismodell genügen in der App; aber die restliche Welt — Ollama, llama.cpp, LM Studio — spricht eine einzige Datei. Diese Datei ist GGUF, und sie herzustellen ist eine Arbeit in zwei Schritten: den Adapter in die Basisgewichte mergen, dann das Ergebnis quantisieren.

Das Quant wählen

• f16 — exakte Kopie der gemergten Gewichte, größte Datei. Nehmen Sie es, wenn Größe keine Rolle spielt und Sie außer dem Merge selbst nichts verlieren wollen.
• q8_0 — ein Byte pro Gewicht. Winziger Fehler, deutlich kleinere Datei. Das empfohlene Standard-Quant; unsere Demo-Exporte nutzen es.
• K-Quants (q4_k_m und Verwandte) — etwa ein Viertel der Größe von f16, mit geringem Qualitätspreis. Sie brauchen llama-quantize, das die App im PATH oder über TT_LLAMA_CPP findet.

Eine praktische Entscheidungshilfe: Exportieren Sie q8_0, chatten Sie damit — und wenn die Antworten noch immer dem entsprechen, was Sie in der App gesehen haben, sind Sie fertig. Steigen Sie nur auf ein kleineres Quant herab, wenn die Dateigröße Sie zwingt — und testen Sie dann neu, denn Quantisierung verändert Modelle auf eine Weise, die vorherzusagen langweilig und zu bemerken leicht ist.

Der Export selbst

Wählen Sie im Ausgabe-Block das Quant und drücken Sie GGUF. Der Fortschritt erscheint als Toast, und am Ende erhalten Sie den Dateipfad plus einen Download-Link. Die Datei landet neben dem Checkpoint des Laufs, benannt nach dem gewählten Quant. Der Export bewahrt Tokenizer, Architektureinstellungen und Attention-Konfiguration — der unglamouröse Teil, der entscheidet, ob das exportierte Modell so antwortet wie das getestete. Unglamourös und prüfenswert: Das Erste, was man mit einem Export tut, ist, ihm denselben Prompt zu stellen wie im Vergleichsbildschirm.

Eine Minute bis Ollama

# neben der exportierten Datei
cat > Modelfile <<EOF
FROM ./model-q8_0.gguf
EOF
ollama create my-tuned -f ./Modelfile
ollama run my-tuned

Das ist die ganze Zeremonie. Ollama liest das Modelfile, registriert das Modell unter dem Namen, den Sie gegeben haben, und bedient es wie jedes andere. Von hier an ist das Modell so tragbar, wie eine einzelne Datei tragbar ist: auf einen anderen Rechner kopieren, auf eine Freigabe legen, einem Freund geben. Der Adapter hat aufgehört, ein Projekt zu sein — er ist ein Ding geworden.

Möchten Sie die Langversion eines Schritts: Lektion 11 des eingebauten Kurses behandelt den Export-Bildschirm im Detail, und INSTALL.md dokumentiert den API-Endpunkt, der dieselbe Arbeit aus einem Skript erledigt.