Was ist Inferenz (in der KI)?

Inferenz ist ein KI-Modell bei seiner eigentlichen Arbeit: Deine Frage geht hinein, eine Antwort kommt heraus, mit dem, was das Training ihm beigebracht hat. Training ist der einmalige Bau; Inferenz ist jede Nutzung danach. Klingt nach der billigen Hälfte, und pro Antwort ist sie das auch, nur läuft sie milliardenfach am Tag.

Inferenz ist alles, was zwischen deiner Frage und der Antwort passiert, und sie ist eine völlig andere Arbeit als das Training. Das Training passiert einmal und verbrennt über Wochen enorme Rechenleistung, um die inneren Regler des Modells einzustellen. Die Inferenz lässt diese fertig eingestellten Regler über eine neue Eingabe laufen: Zahlen fließen durch, eine Antwort kommt heraus, und im Modell ändert sich nichts. Deshalb kostet eine einzelne Antwort einen Bruchteil eines Cents, während das Training desselben Modells Millionen kostete. Der Haken ist die Menge, denn ein beliebter Assistent beantwortet Milliarden Fragen, und ein Bruchteil eines Cents mal Milliarden landet am Ende auf der Stromrechnung. Diese Rechnung erklärt, warum die Branche so hart daran arbeitet, Modelle mit Quantisierung und Destillation zu schrumpfen, und warum Chiphersteller inzwischen Prozessoren für die Inferenz statt für das Training entwerfen.

Für eine Prüfung lernen gegen die Prüfung schreiben. Das Lernen ist anstrengend, teuer und passiert einmal; die Prüfung sind zwei Stunden, in denen du nutzt, was du schon kannst, ganz ohne neues Lernen. Ein Student in einer Prüfung ist neben dem Lernen belanglos. Aber lass dieselbe Prüfung täglich von fünfzigtausend Studenten schreiben, und es ist der Prüfungssaal, nicht das Lernen, der das Budget sprengt.