Overfitting vs. Underfitting: Was ist der Unterschied?

Overfitting heißt, ein Modell lernt seine Trainingsdaten zu genau, Rauschen inklusive, glänzt also im Training und stolpert über alles Neue. Underfitting ist das Gegenteil: ein Modell, das zu einfach ist, um das Muster überhaupt zu lernen, und deshalb überall versagt.

Der Hinweis ist der Abstand zwischen zwei Zahlen: dem Ergebnis auf den Trainingsdaten und dem Ergebnis auf zurückgehaltenen Daten, die das Modell nie gesehen hat. Underfitting schneidet bei beiden schlecht ab, weil das Muster nie erfasst wurde. Overfitting schneidet im Training hervorragend und auf zurückgehaltenen Daten deutlich schlechter ab, weil der Lernstoff auswendig gelernt statt verstanden wurde. Overfitting entsteht aus zu viel Komplexität, zu wenig Daten oder zu langem Training; Underfitting aus einem zu einfachen Modell oder schwachen Eingaben. Die Gegenmittel spiegeln die Ursachen: mehr Daten, Regularisierung oder ein einfacheres Modell gegen Overfitting; ein reichhaltigeres Modell oder bessere Eingaben gegen Underfitting. Eine saubere Unterscheidung: Das sind die Symptome, hohe Verzerrung und hohe Varianz die Diagnosen dahinter.

Autofahren nur in der eigenen Einfahrt lernen: jeder Riss und jede Bodenwelle auswendig, jedes Manöver makellos — und dann ist die Autobahn Chaos, weil man die Einfahrt gelernt hat und nicht das Fahren. Das ist Overfitting. Underfitting ist eine einzige vage Lektion — das Auto fährt, wenn man aufs Pedal tritt — die in der Einfahrt genauso scheitert wie auf der Autobahn.