¿Qué son los benchmarks de IA?

Los benchmarks de IA son listas fijas de preguntas que se plantean a todos los modelos, de modo que las puntuaciones puedan compararse en igualdad de condiciones. De ahí salen las cifras de cada anuncio de lanzamiento. Un modelo puede encabezar la tabla y aun así decepcionarte, y por eso importa tanto quién hizo la prueba como la nota.

Podrías probar un modelo tú mismo, pero examinarías las preguntas que se te ocurrieran esa tarde, sin saber si superó a un rival o tuvo una tarde fácil. Un benchmark es una lista concreta de preguntas con respuestas conocidas, y a cada modelo se le plantea esa lista idéntica, que es la única razón por la que las notas pueden compararse. La mayoría de esas listas se hicieron públicas para que cualquiera verificara los resultados, y ahí empieza el problema. Los modelos se entrenan con internet abierto, así que uno puede haber leído las preguntas y las respuestas antes del examen. El campo lo llama contaminación, y significa que una nota alta puede indicar simplemente que el modelo reconoció el examen. El segundo problema nace de la competencia: cuando todos persiguen una cifra, los equipos afinan para la cifra y no para la capacidad. Por eso los benchmarks más fiables están hoy en manos de organizaciones independientes que mantienen la lista privada, examinan a cada modelo ellas mismas y publican solo las notas, así que nadie puede prepararlas de antemano.

La calificación por estrellas de una guía de restaurantes. Es una valoración real, y ninguna cocina reúne tres estrellas por accidente, pero refleja un grupo de jueces aplicando unos criterios las noches que visitaron. Las cocinas además averiguan qué premian esos jueces y cocinan hacia ello, así que las estrellas suben mientras la comida se queda exactamente donde estaba. La calificación es honesta y aun así no puede decirte si disfrutarás de la cena un martes lluvioso.