¿Qué es el descenso de gradiente estocástico (SGD)?

El SGD es el método con el que aprenden la mayoría de los modelos de IA: hacer una predicción, medir cuánto se equivocó, mover cada ajuste interno un pasito en la dirección que reduce el error, y repetir millones de veces. Lo "estocástico" es que cada paso revisa un pequeño lote aleatorio de ejemplos en lugar del conjunto entero.

El modelo es una máquina con millones de diales diminutos, y su rendimiento es una única puntuación de error llamada pérdida. Para cada dial, las matemáticas pueden calcular hacia qué lado girarlo para que esa puntuación baje, y esa dirección se llama gradiente. El descenso consiste en girar cada dial un poco hacia ese lado, medir de nuevo la puntuación y repetir millones de veces. La decisión del SGD es cuántos ejemplos revisar antes de cada giro. Revisarlos todos, que en un modelo grande pueden ser millones de imágenes, señala la dirección más exacta pero es tan lento que apenas se dan unos pocos giros por hora, mientras que un lote de 32 o 64 ejemplos al azar señala una dirección algo equivocada y permite miles de giros en ese mismo tiempo. Miles de giros ligeramente equivocados bajan la puntuación más rápido que un puñado de giros perfectos. Como cada lote es distinto, la dirección además oscila, y esa oscilación puede sacar al modelo de un ajuste que parecía bueno pero no era el mejor disponible.

Bajar una montaña con niebla espesa. No ves el valle, así que notas la pendiente bajo los pies y das un paso cuesta abajo, una y otra vez; inspeccionar la montaña entera antes de cada paso daría la dirección perfecta y tardaría una eternidad. El SGD es leer solo el suelo bajo tus botas: lecturas más toscas, muchísimos más pasos, y algún tropiezo ocasional que te saca de un pequeño hoyo que no era el fondo real.