¿Qué es una mezcla de expertos (MoE)?

Una mezcla de expertos es un modelo construido como muchas secciones especialistas más pequeñas, con solo unas pocas encendidas para cada pregunta. El modelo puede ser enorme en total mientras hace el trabajo de uno mucho más pequeño cada vez que responde. Así es como varios de los modelos más grandes siguen siendo asequibles.

La gracia de una mezcla de expertos es que el tamaño total y el trabajo por respuesta dejan de ser lo mismo. En un modelo corriente cada pregunta despierta la red entera, así que doblar el modelo dobla el trabajo hecho en cada respuesta. Una mezcla de expertos se construye en cambio como secciones separadas, los expertos, con un pequeño enrutador delante que elige cuáles pocas consultar para cada trozo de la entrada. Haz una pregunta de programación y puede despertar dos secciones de sesenta y cuatro, así que la respuesta la calcula una rebanada del modelo y no todo él. Cada sección sigue teniendo que estar en memoria esperando a que la llamen, así que el ahorro está en el trabajo por respuesta, no en lo que cuesta mantener el modelo disponible. El entrenamiento también exige cuidado extra, porque un enrutador que insiste en sus favoritos deja gran parte del modelo apenas entrenada. El beneficio explica por qué el diseño reaparece en los modelos de frontera: la capacidad puede crecer sin que crezca con ella el trabajo de cada respuesta.

La caja de herramientas de un mecánico con doscientas herramientas. Cualquier reparación necesita cuatro o cinco, y va directo a esas mientras el resto se queda en el cajón, así que el trabajo no pesa más que si la caja fuera pequeña. Aun así compró las doscientas y aun así carga la caja entera a cada aviso, porque la gracia de tener el juego es que lo que entre ya esté cubierto. Trabajo ligero en cada reparación, coste permanente por mantener ese alcance a mano.