Was sind KI-Benchmarks?

KI-Benchmarks sind feste Fragenlisten, die jedem Modell gestellt werden, damit sich die Ergebnisse gleichwertig vergleichen lassen. Von dort stammen die Zahlen in jeder Ankündigung. Ein Modell kann die Tabelle anführen und dich trotzdem enttäuschen, weshalb es ebenso zählt, wer den Test durchgeführt hat, wie die Note selbst.

Du könntest ein Modell selbst ausprobieren, prüfst dann aber die Fragen, die dir gerade einfielen, ohne zu erkennen, ob es einen Rivalen schlug oder Glück hatte. Ein Benchmark ist eine bestimmte Fragenliste mit bekannten Antworten, und jedem Modell wird diese identische Liste gestellt, weshalb sich Ergebnisse vergleichen lassen. Die meisten dieser Listen wurden veröffentlicht, damit jeder die Ergebnisse prüfen kann, und genau da beginnt der Ärger. Modelle werden mit dem offenen Internet trainiert, ein Modell kann also sowohl die Fragen als auch die Antworten gelesen haben, bevor es je zur Prüfung antrat. Das Fach nennt das Kontamination, und es bedeutet, dass eine hohe Punktzahl schlicht heißen kann, das Modell hat die Prüfung wiedererkannt. Ein zweites Problem folgt aus dem Wettbewerb selbst, denn sobald alle einer Zahl hinterherjagen, optimieren Teams auf die Zahl statt auf die Fähigkeit darunter. Deshalb liegen die vertrauenswürdigeren Benchmarks heute bei unabhängigen Organisationen, die ihre Liste privat halten, jedes Modell selbst prüfen und nur die Noten veröffentlichen, sodass niemand sich vorher vorbereiten kann.

Die Sternebewertung eines Restaurantführers. Sie ist eine echte Beurteilung, und keine Küche sammelt drei Sterne aus Versehen, doch sie spiegelt eine Gruppe von Testern wider, die an den Abenden ihres Besuchs einen Maßstab anlegten. Küchen finden zudem heraus, was diese Tester belohnen, und kochen darauf zu, sodass die Sterne steigen, während das Essen genau dort bleibt, wo es war. Die Bewertung ist ehrlich, und sie kann dir trotzdem nicht sagen, ob dir das Abendessen an einem verregneten Dienstag gefällt.