¿Qué es un modelo multimodal?

Un modelo multimodal es una IA que maneja más de un tipo de entrada, como texto, imágenes, audio y vídeo, dentro de un mismo sistema. Por eso puedes fotografiar una página y preguntar sobre ella en el mismo gesto. Los modelos anteriores solo leían texto, así que todo lo demás había que describírselo primero.

Los modelos antiguos solo sabían leer texto, así que cualquier otra cosa había que describirla con palabras primero, y la mayoría de las cosas no sobreviven a esa traducción. Un modelo multimodal elimina ese paso convirtiendo cada tipo de entrada al mismo formato interno antes de procesar nada. Una frase, una fotografía y unos segundos de habla se vuelven todos listas largas de números. Una vez que son números el modelo los trata igual, que es lo que permite que una pregunta sobre una imagen viaje en la misma petición que la imagen. Así una foto de un recibo o de una pantalla de error entra directamente, y puede responder cosas que necesitan ambas, como qué falla en este gráfico. El coste es tamaño y velocidad, ya que las imágenes y el audio se convierten en muchísimos más números que una frase. Eso devora la ventana de contexto y hace cada respuesta más lenta y más cara. Poder aceptar una entrada no es lo mismo que manejarla bien, así que un modelo que lee una página mecanografiada con fiabilidad puede aun así malinterpretar un diagrama dibujado a mano.

Guiar a alguien por teléfono para arreglar un ordenador. Todo lo que sabes llega a través de su descripción, así que si nunca menciona la luz roja parpadeante, para ti no existe. Ponte al lado de la máquina y lees el error tú mismo, ves el cable desenchufado y oyes el chasquido. No te volviste más listo, ganaste acceso a información que estaba ahí todo el tiempo.