Was ist Modell-Destillation?

Modell-Destillation heißt, ein KI-Modell mit den Antworten eines anderen Modells zu trainieren statt mit Rohdaten. Ein großes Lehrermodell beantwortet riesige Mengen an Beispielen, und ein Schülermodell lernt, diese Antworten zu reproduzieren, und übernimmt dabei den Großteil des Könnens. Genutzt wird das, um große Modelle billig und schnell zu schrumpfen, und um ein Modell mit den Ausgaben eines stärkeren Rivalen zu verbessern.

Die fertigen Antworten des Lehrers werden zum Lehrbuch des Schülers. Man lässt ein großes Modell über enorme Mengen an Prompts laufen, sammelt seine Ausgaben, manchmal samt seiner Sicherheit über die Optionen, und trainiert den Schüler, sie zu reproduzieren. Fertige Urteile zu studieren erweist sich als weit konzentriertere Lektion als das rohe Internet. Der klassische Zweck ist Kompression: Der Schüler behält oft einen großen Teil des Lehrer-Könnens bei einem Zehntel der Größe, und so landet Flaggschiff-KI auf Telefonen. Das unterscheidet sich von der Quantisierung, die dasselbe Modell in gröbere Zahlen presst, statt ein neues zu trainieren. Der zweite Zweck macht die Schlagzeilen: das eigene Modell verbessern, indem man das eines stärkeren Rivalen destilliert, denn das Modell eines Konkurrenten lässt sich mit nichts als seinen öffentlichen Antworten destillieren. Deshalb verbieten KI-Labore die Praxis in ihren Nutzungsbedingungen und werfen sich gegenseitig vor, Schüler an ihren Lehrern großzuziehen.

Eine Auszubildende, die aus den fertigen Entscheidungen des Meisterkochs lernt statt aus Jahren Kochschule. Sie probiert nicht zehntausend Zutatenkombinationen neu; sie studiert, was der Meister über zehntausend Bestellungen wirklich angerichtet hat, was gesalzen wurde, was zurückging, was kombiniert wurde. Der Meister lernte eine Karriere lang aus rohen Zutaten; die Auszubildende lernt aus den Antworten des Meisters. Das seltsame Ergebnis ist real: Der Großteil des Könnens überträgt sich ohne die ursprüngliche Reise.