Was ist ein multimodales Modell?

Ein multimodales Modell ist eine KI, die mehr als eine Art von Eingabe verarbeitet, etwa Text, Bild, Audio und Video. Deshalb kannst du eine Seite fotografieren und im selben Atemzug etwas dazu fragen. Frühere Modelle lasen nur Text, alles andere musste ihnen beschrieben werden.

Ältere Modelle konnten nur Text lesen, also musste alles andere zuerst in Worte gefasst werden, und die meisten Dinge überleben diese Übersetzung nicht. Ein multimodales Modell streicht diesen Schritt, indem es jede Art von Eingabe in dasselbe interne Format verwandelt, bevor es überhaupt etwas verarbeitet. Ein Satz, eine Fotografie und ein paar Sekunden Sprache werden alle zu langen Zahlenlisten. Sind es erst Zahlen, behandelt das Modell sie gleich, und genau deshalb kann eine Frage zu einem Bild in derselben Anfrage stecken wie das Bild. So geht ein Foto einer Quittung oder eines Fehlerbildschirms direkt hinein, und es kann Dinge beantworten, die beides brauchen, etwa was an diesem Diagramm nicht stimmt. Der Preis sind Größe und Tempo, denn Bilder und Audio werden zu weit mehr Zahlen als ein Satz. Das frisst das Kontextfenster und macht jede Antwort langsamer und teurer. Eine Eingabe annehmen zu können ist nicht dasselbe wie sie gut zu beherrschen, also kann ein Modell, das getippten Text zuverlässig liest, eine handgezeichnete Skizze trotzdem falsch lesen.

Jemanden am Telefon durch ein Computerproblem führen. Alles, was du weißt, kommt über seine Beschreibung, wenn er also die blinkende rote Lampe nie erwähnt, existiert sie für dich nicht. Stell dich neben das Gerät und du liest die Fehlermeldung selbst, siehst das ausgesteckte Kabel und hörst das Klicken. Du bist nicht klüger geworden, du hast Zugang zu Informationen bekommen, die die ganze Zeit da waren.