Clicked Gallery

Was ist Tokenisierung?

Markiert in einem echten Engineering-Dokument. Erklärt von Clicked.

Im Satz verwendet

During preprocessing, tokenization splits the raw text into subword units the model actually reads.

Der Leser markierte ein Wort in der Dokumentation. Clicked erklärte den Fachbegriff „tokenization“ ganz einfach:

In drei Stufen erklärt

●○○

Overview

▾

Tokenisierung ist die Art, wie KI-Modelle Text in Stücke zerlegen, bevor sie ihn lesen. Die Stücke, Tokens genannt, sind meist Wortbrocken statt ganzer Wörter. Modelle sehen, zählen und berechnen nach Tokens, nicht nach Wörtern oder Buchstaben.

●●○

Detail

▾

Ein Tokenizer trägt ein festes Vokabular, typischerweise 50.000 bis 200.000 Einträge, gebildet aus den Zeichenkombinationen, die im Trainingstext am häufigsten vorkommen. Häufige Wörter überleben als einzelnes Token, seltene werden zerteilt, aus Unglücklichkeit wird etwa Un, glücklich und keit. Im Englischen ergibt das im Schnitt rund drei Viertel eines Wortes pro Token, doch derselbe Satz auf Japanisch oder Hindi kann zwei- bis dreimal so viele Tokens kosten, weil das Vokabular überwiegend aus englischem Text gebaut wurde. Diese Lücke zählt, denn API-Preise gelten pro Million Tokens, dieselbe Frage ist in manchen Sprachen also buchstäblich teurer. Tokenisierung erklärt auch einen berühmten Aussetzer: Ein Modell, das die Buchstaben in „strawberry“ nicht zählen kann, sieht gar keine Buchstaben, sondern zwei oder drei Brocken. Auch Zahlen werden an seltsamen Stellen zerhackt, einer der Gründe, warum Rechnen Modelle stolpern lässt.

●●●

Analogy

▾

Bauen mit LEGO. Eine Burg wird nicht aus einem Stück gegossen; sie wird aus einem festen Katalog von Standardsteinen zusammengesetzt, und der Baumeister denkt ausschließlich in Steinen. Frag nach der Maserung des Plastiks in einem Stein und du erntest einen leeren Blick, denn der Stein ist das Kleinste, das für ihn existiert.

KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung

Gleiche Fakten, anderer Vibe — Slang-Modus 😎

●○○

Overview

▾

Tokenisierung heißt: Die KI hackt deinen Text in mundgerechte Brocken namens Tokens, bevor sie irgendwas liest. Keine Buchstaben, keine Wörter, etwas dazwischen — und es ist das einzige Alphabet, das das Modell hat. 😎

●●○

Detail

▾

Der Tokenizer besitzt ein festes Menü aus 50k bis 200k Textbrocken, gelernt aus dem Trainingsmaterial, und jeder Satz von dir wird aus diesem Menü nachgebaut. Alltagswörter reisen als ein Token, komische werden gewürfelt, Un-glücklich-keit-Style. Englisch kommt im Schnitt auf etwa drei Viertel Wort pro Token, dieselbe Frage auf Japanisch verbrennt aber zwei- bis dreimal mehr, und da pro Million Tokens abgerechnet wird, zahlen manche Sprachen buchstäblich eine Sprachsteuer. Daher kommt auch die „strawberry“-Nummer: Das Modell sieht nie r-r-r, es sieht ein paar Brocken ohne Buchstaben darin. Gleiches Spiel bei Mathe, Zahlen werden an zufälligen Stellen zerschnitten, und dann wundern sich alle, dass es nicht addieren kann. 😎

●●●

Analogy

▾

Nur mit Emojis texten. Mit dem Standardset lässt sich viel sagen, aber nur, was das Set abdeckt. Für deinen speziellen seltsamen Dienstag gibt es kein Emoji, also näherst du dich mit dreien an, die ungefähr in die Richtung zeigen, und manches lässt sich schlicht nicht sagen.

KI-Erklärungen können Fehler enthalten · Keine professionelle Beratung

Formale Definition — Derselbe Begriff, wie er sonst erklärt wird

Tokenisierung ist die Zerlegung von Eingabetext in diskrete Einheiten aus einem festen Vokabular, das typischerweise per Byte-Pair-Encoding oder ähnlichen Subwort-Algorithmen aus häufigen Zeichenfolgen aufgebaut wird. Token-Anzahlen bestimmen Sequenzlänge, Kontextverbrauch und nutzungsbasierte Abrechnung, und die Granularität variiert erheblich zwischen Sprachen und Schriftsystemen.

Soll Clicked Begriffe wie „tokenization“ direkt in deinem Browser erklären – auch in PDFs?

Zu Chrome hinzufügen — Kostenlos

50 kostenlose Erklärungen · Keine Kreditkarte nötig

Mehr aus der Galerie

Wie du ein Forschungspaper wirklich liest

Klug überfliegen, die Jargon-Wand durchbrechen, das Gelernte behalten — eine Session, richtig gemacht.

Was ist ein Kontextfenster?

Wie viel Text eine KI gleichzeitig im Kopf behält — und warum lange Chats ihren Anfang vergessen.

Was sind Vektor-Embeddings?

Bedeutung als Koordinaten — wie Maschinen Ähnliches finden, ohne ein einziges Wort abzugleichen.

Was ist Backpropagation?

Wie ein finaler Fehler zur präzisen Anpassung für Millionen Einstellungen wird — Zielwertsuche in groß.

Was ist Retrieval-Augmented Generation (RAG)?

Die KI aus deinen Dokumenten antworten lassen — erst abrufen, dann generieren, Belege inklusive.

Was bedeutet eine idempotente API?

Warum zehn Klicks nur einmal abbuchen — die Eigenschaft, die Retries sicher macht.