Tag
Training
Fine-Tuning, Distillation, System-Prompts: wie ein Modell spezialisiert wird.
3 · Artikel zu diesem Thema
Fine-Tuning: Wie man ein KI-Modell an eine bestimmte Domäne anpasst
Ein Sprachmodell kommt als Generalist zur Welt: Es weiß von allem ein bisschen, kennt aber nicht deine Branche, deine Sprache, deine Regeln. Fine-Tuning ist die Technik, mit der ein bereits bestehendes Modell auf gezielten Beispielen nachtrainiert wird, damit es in einer bestimmten Domäne kompetenter und konsistenter wird. Zu verstehen, was es ist, wann es sich wirklich lohnt und wie es sich vom bloßen Bereitstellen von mehr Kontext unterscheidet, ist der Weg, um von dieser Technik nicht zu erwarten, was sie nicht leisten kann, und um zu begreifen, warum auch ein spezialisiertes Modell gewinnt, wenn man es mit unterschiedlichen Perspektiven konfrontiert.
Der System-Prompt: Was ein KI-Modell wirklich steuert
Wenn du einem KI-Assistenten schreibst, startest du nie mit einem leeren Blatt: Noch bevor deine Frage ankommt, hat das Modell bereits einen Satz Anweisungen erhalten, den du nicht siehst. Er heißt System-Prompt und ist die Schicht, die festlegt, wer das Modell ist, wie es schreibt und was es darf. Das zu verstehen erklärt, warum dir zwei KIs auf dieselbe Frage so unterschiedlich antworten.
Distillation: Wie ein kleineres und schnelleres KI-Modell entsteht
Hinter einem KI-Assistenten, der auf dem Smartphone im Nu antwortet, steckt oft die Distillation: die Technik, die das Wissen eines großen Modells auf ein kleineres und leichteres überträgt. Wie sie funktioniert, was man gewinnt und was auf der Strecke bleibt, und warum sie von einer Welt aus vielen Modellen erzählt, nicht aus einem einzigen.
Alle Themen