Was ist Quantisierung?

Quantisierung schrumpft ein KI-Modell, indem sie seine Zahlen mit geringerer Genauigkeit speichert. Jede Zahl braucht weniger Speicher, das Modell läuft also auf kleinerer, billigerer Hardware. Gut gemacht, sinkt die Qualität kaum.

Ein Modell besteht aus Milliarden Zahlen, den Gewichten, normalerweise mit 16 Bit pro Stück gespeichert. Quantisierung codiert sie auf 8 oder 4 Bit um, ein Modell mit 70 Milliarden Gewichten fällt so von rund 140 Gigabyte auf etwa 35 bei 4 Bit. Die volle Version passt nicht einmal auf eine Rechenzentrums-GPU, während die geschrumpfte auf eine einzige High-End-Consumer-Grafikkarte passt. Der Trick funktioniert, weil sich Gewichte in engen Bereichen ballen, eine gut gewählte grobe Skala verliert also wenig: Benchmark-Werte sinken bei 8 Bit typischerweise um wenige Prozent und bleiben bei 4 brauchbar. Darunter wird es holprig, und 2-Bit-Versionen sind oft spürbar schlechter. Meist steigt sogar die Geschwindigkeit: Das Langsame am Betrieb eines Modells ist das Holen all dieser Zahlen aus dem Speicher, und kleinere Zahlen bedeuten weniger zu holen. Das ist der Hauptgrund, warum lokale KI überhaupt existiert und Leute die Spitzenmodelle von gestern auf Gaming-Hardware betreiben.

Ein Foto zum Versenden verkleinern. Die Originaldatei ist riesig; mit geringerer Qualität gespeichert schrumpft sie auf ein Zehntel, und auf dem Handybildschirm merkt niemand etwas. Zoomst du weit genug hinein, findest du die Schlieren, doch für den Alltag erfüllt das Bild seinen Zweck.