Was ist ein Kontextfenster?

Das Kontextfenster ist die maximale Textmenge, die ein KI-Modell auf einmal berücksichtigen kann, deine Eingabe und seine Antwort eingeschlossen. Alles jenseits dieser Grenze ist für das Modell unsichtbar. Gemessen wird in Tokens, also Wortstücken statt ganzen Wörtern.

Das Fenster umfasst alles, was im Spiel ist: den bisherigen Gesprächsverlauf, eingefügte Dokumente und die Antwort, die gerade entsteht. Größen werden in Tokens angegeben, im Englischen etwa drei Viertel eines Wortes pro Token, und sie schwanken stark: 128.000 Tokens sind üblich, manche Modelle werben mit einer Million, das sind mehrere lange Romane. Wächst ein Chat über das Fenster hinaus, fallen die ältesten Nachrichten zuerst heraus, weshalb eine lange Sitzung die Anweisungen vom Anfang vergisst. Größere Fenster kosten außerdem mehr, denn das Modell vergleicht jedes Token mit jedem anderen, doppelter Text bedeutet also ungefähr vierfache Arbeit. In der Mitte sehr langer Eingaben sind Modelle zudem schwächer und erinnern Anfang und Ende deutlich besser, ein gemessener Effekt namens lost in the middle.

Ein Whiteboard im Besprechungsraum. Alles, was das Team braucht, muss darauf passen, und wenn es voll ist, wischt jemand die älteste Ecke weg, um Platz für neue Notizen zu schaffen. Der Plan aus Minute eins ist in Stunde drei verschwunden, nicht weil ihn jemand vergessen wollte, sondern weil dem Board die Fläche ausging.