Was ist Stochastic Gradient Descent (SGD)?

SGD ist die Methode, mit der die meisten KI-Modelle lernen: eine Vorhersage treffen, messen, wie falsch sie war, jede interne Einstellung einen winzigen Schritt in die Richtung schieben, die den Fehler verringert, und das millionenfach wiederholen. Das Stochastische daran: Jeder Schritt prüft eine kleine zufällige Stichprobe statt des gesamten Datensatzes.

Ein Modell ist eine Maschine mit Millionen winziger Regler, und seine Leistung ist eine einzige Fehlerzahl, der Loss. Für jeden Regler kann die Mathematik ausrechnen, in welche Richtung man ihn drehen muss, damit diese Zahl kleiner wird, und diese Richtung heißt Gradient. Descent bedeutet, jeden Regler ein wenig in diese Richtung zu drehen, die Zahl erneut zu messen und das millionenfach zu wiederholen. Die Entscheidung, die SGD trifft, ist, wie viele Beispiele vor jeder Drehung geprüft werden. Alle zu prüfen, bei einem großen Modell also Millionen Bilder, zeigt die genaueste Richtung, ist aber so langsam, dass pro Stunde nur wenige Drehungen zustande kommen, während eine Stichprobe von 32 oder 64 zufälligen Beispielen eine leicht falsche Richtung zeigt und in derselben Zeit Tausende Drehungen erlaubt. Tausende leicht falsche Drehungen senken die Fehlerzahl schneller als eine Handvoll perfekter. Weil jede Stichprobe anders ausfällt, schwankt die Richtung außerdem, und dieses Schwanken kann das Modell von einer Einstellung wegschubsen, die gut aussah, aber nicht die beste erreichbare war.

Ein Abstieg vom Berg bei dichtem Nebel. Du siehst das Tal nicht, also ertastest du das Gefälle unter den Füßen und machst immer wieder einen Schritt bergab; den ganzen Berg vor jedem Schritt zu vermessen gäbe die perfekte Richtung und würde ewig dauern. SGD liest nur den Boden unter den Stiefeln: gröbere Messungen, weit mehr Schritte, und gelegentlich ein Stolperer, der dich aus einer kleinen Senke holt, die nicht der echte Grund war.