¿Qué es la destilación de modelos?

La destilación de modelos es entrenar un modelo de IA con las respuestas de otro modelo en vez de con datos crudos. Un gran modelo maestro responde enormes cantidades de ejemplos, y un modelo estudiante aprende a reproducir esas respuestas, absorbiendo la mayor parte de la habilidad. Sirve para encoger modelos grandes en versiones rápidas y baratas, y para mejorar un modelo con las salidas de un rival más fuerte.

Las respuestas terminadas del maestro se vuelven el libro de texto del estudiante. Se ejecuta un modelo grande sobre cantidades enormes de prompts, se recogen sus salidas, a veces incluyendo cuán seguro estaba entre las opciones, y se entrena al estudiante a reproducirlas. Estudiar juicios terminados resulta ser una lección mucho más concentrada que estudiar el internet crudo. El propósito clásico es la compresión: el estudiante a menudo conserva gran parte de la habilidad del maestro con un décimo del tamaño, que es como la IA de gama alta termina corriendo en teléfonos. Eso difiere de la cuantización, que aprieta el mismo modelo en números más gruesos en vez de entrenar uno nuevo. El segundo propósito es el de los titulares: mejorar tu propio modelo destilando el de un rival más fuerte, porque el modelo de un competidor puede destilarse con nada más que sus respuestas públicas. Por eso los laboratorios de IA prohíben la práctica en sus términos de servicio y se acusan mutuamente de criar estudiantes con sus maestros.

Una aprendiz que aprende de las decisiones terminadas del chef maestro en vez de con años de escuela de cocina. No vuelve a probar diez mil combinaciones de ingredientes; estudia lo que el maestro realmente emplató en diez mil pedidos, qué llevó sal, qué volvió a la cocina, qué se maridó. El maestro pasó una carrera aprendiendo de ingredientes crudos; la aprendiz aprende de las respuestas del maestro. El resultado extraño es real: la mayor parte de la habilidad se transfiere sin nada del viaje original.