¿Qué es la cuantización?

La cuantización encoge un modelo de IA guardando sus números con menos precisión. Cada número ocupa menos memoria, así que el modelo funciona en hardware más pequeño y barato. Bien hecha, la calidad apenas baja.

Un modelo son miles de millones de números, llamados pesos, guardados normalmente a 16 bits cada uno. La cuantización los recodifica a 8 o 4 bits, de modo que un modelo de 70.000 millones de pesos baja de unos 140 gigabytes a unos 35 con 4 bits. La versión completa no cabe ni en una GPU de centro de datos, mientras que la encogida entra en una sola tarjeta gráfica de consumo de gama alta. El truco funciona porque los pesos se agrupan en rangos estrechos, así que una escala gruesa bien elegida pierde poco: las puntuaciones en pruebas suelen bajar unos pocos puntos porcentuales a 8 bits y siguen siendo utilizables a 4. Por debajo la cosa se pone fea, y las versiones de 2 bits suelen ser notablemente peores. La velocidad también suele mejorar: lo lento al ejecutar un modelo es traer todos esos números de la memoria, y números más pequeños significan menos que traer. Esta es la razón principal de que exista la IA local, permitiendo ejecutar los modelos punteros de ayer en hardware de videojuegos.

Encoger una foto para enviarla. El archivo original es enorme; guardarlo con menor calidad lo deja en una décima parte del tamaño, y en la pantalla del móvil nadie nota nada. Si haces zoom suficiente encontrarás los borrones, pero para el uso diario la imagen cumple su función.