¿Qué es un transformer (en IA)?

El transformer es el diseño detrás de casi toda la IA moderna, la T de GPT, y su avance es leer todo a la vez en lugar de palabra por palabra. Lo logra mediante la atención: cada palabra mira a todas las demás simultáneamente y pondera cuáles importan para su significado. Ese único cambio es lo que hizo posibles los modelos gigantes de hoy.

El transformer es un diseño de red neuronal cuya ventaja entera es leer todo a la vez. Los diseños previos leían palabra por palabra con una memoria que se desvanecía: pasajes largos borrosos y, peor, nada calculable hasta acabar la palabra anterior. El artículo de 2017 Attention Is All You Need resolvió ambas cosas de golpe. Su mecanismo de atención permite que cada token, más o menos cada pedazo de palabra, mire directamente a todos los demás y puntúe cuánto le importan. En la frase "el perro persiguió su cola", la atención es lo que deja que la palabra "su" encuentre al perro a través de la frase, sin cadena de memoria. Cada capa usa esas puntuaciones para afinar qué significa cada palabra en su contexto, y apilar muchas capas es cómo las palabras crudas se vuelven significado entendido. La lectura en paralelo explica también la explosión de tamaño: como ninguna palabra espera a otra, el entrenamiento se reparte entre miles de chips, y solo eso hizo práctico entrenar con internet entero. El precio de todos-miran-a-todos es que el trabajo crece rapidísimo con el texto, y por eso cada modelo tiene una ventana de contexto, un tope duro de cuánto considera a la vez.

Dos maneras de trabajar un expediente en un equipo de detectives. La vieja: un detective lo lee en voz alta de principio a fin mientras todos dependen de su memoria de lo anterior, y los detalles de la página dos ya están borrosos en la noventa. La manera transformer: todas las páginas clavadas a la vez en el corcho y cuerdas tendidas entre pistas relacionadas, esta coartada con aquella hora, el nombre de la página noventa con el testigo de la página dos. El significado sale de las cuerdas, y ninguna página se vuelve borrosa por haber llegado antes.