¿Qué es la inferencia (en IA)?

La inferencia es un modelo de IA haciendo su trabajo real: entra tu pregunta, sale una respuesta, usando lo que el entrenamiento ya le enseñó. El entrenamiento es la construcción única; la inferencia es cada uso posterior. Parece la mitad barata, y por respuesta lo es, pero ocurre miles de millones de veces al día.

La inferencia es todo lo que pasa entre tu pregunta y la respuesta, y es un trabajo completamente distinto del entrenamiento. El entrenamiento ocurre una vez, quemando enorme potencia de cálculo durante semanas para fijar los diales internos del modelo. La inferencia hace correr esos diales ya fijados sobre una entrada nueva: los números fluyen y sale una respuesta, sin que nada cambie dentro del modelo. Por eso una sola respuesta cuesta una fracción de céntimo mientras entrenar ese mismo modelo costó millones. La trampa es el volumen, porque un asistente popular responde miles de millones de preguntas, y una fracción de céntimo multiplicada por miles de millones es lo que acaba en la factura de la luz. Esa aritmética explica por qué la industria se esfuerza tanto en encoger modelos con cuantización y destilación, y por qué los fabricantes de chips ya diseñan procesadores pensados para la inferencia y no para el entrenamiento.

Estudiar para un examen frente a presentarlo. El estudio es agotador, caro y ocurre una vez; el examen son dos horas usando lo que ya sabes, sin ningún aprendizaje nuevo. Un estudiante presentando un examen es trivial al lado del estudio. Pero corre ese examen para cincuenta mil estudiantes cada día y es la sala, no el estudio, lo que revienta el presupuesto.