¿Qué es la tokenización?

La tokenización es la forma en que los modelos de IA trocean el texto antes de leerlo. Las piezas, llamadas tokens, suelen ser fragmentos de palabras y no palabras completas. Los modelos ven, cuentan y cobran por tokens, no por palabras ni letras.

Un tokenizador lleva un vocabulario fijo, normalmente de 50.000 a 200.000 entradas, construido buscando las combinaciones de caracteres más frecuentes en los textos de entrenamiento. Las palabras comunes sobreviven como un solo token, mientras que las raras se parten, así que infelicidad podría quedar en in, felici y dad. En inglés esto promedia unos tres cuartos de palabra por token, pero la misma frase en japonés o hindi puede costar dos o tres veces más tokens, porque el vocabulario se construyó sobre todo con texto en inglés. Esa brecha importa porque las API cobran por millón de tokens, así que la pregunta idéntica sale literalmente más cara en algunos idiomas. La tokenización también explica un fallo famoso: un modelo que no sabe contar las letras de «strawberry» no está viendo letras, está viendo dos o tres trozos. Los números también se cortan por sitios raros, y es una de las razones de que la aritmética haga tropezar a los modelos.

Construir con LEGO. Un castillo no se moldea de una pieza; se monta con un catálogo fijo de ladrillos estándar, y el constructor solo piensa en ladrillos. Pregunta por el grano del plástico dentro de un ladrillo y te mirarán en blanco, porque el ladrillo es la cosa más pequeña que existe para ellos.