Was ist ein Mixture of Experts (MoE)?

Ein Mixture of Experts ist ein Modell, das als viele kleinere Spezialabschnitte gebaut ist, von denen pro Frage nur wenige eingeschaltet werden. Das Modell kann insgesamt riesig sein und trotzdem bei jeder Antwort die Arbeit eines viel kleineren leisten. So bleiben mehrere der größten Modelle bezahlbar.

Der Sinn eines Mixture of Experts ist, dass Gesamtgröße und Arbeit pro Antwort nicht mehr dasselbe sind. In einem gewöhnlichen Modell weckt jede Frage das gesamte Netz, also verdoppelt ein doppelt so großes Modell die Arbeit bei jeder einzelnen Antwort. Ein Mixture of Experts wird stattdessen als getrennte Abschnitte gebaut, die Experten, mit einem kleinen Router davor, der auswählt, welche wenigen für jeden Teil der Eingabe befragt werden. Stell eine Programmierfrage, und es weckt vielleicht zwei Abschnitte von vierundsechzig, sodass die Antwort von einer Scheibe des Modells berechnet wird und nicht vom ganzen. Jeder Abschnitt muss trotzdem im Speicher liegen und auf seinen Aufruf warten, also liegt die Ersparnis in der Arbeit pro Antwort, nicht in den Kosten dafür, das Modell verfügbar zu halten. Auch das Training braucht zusätzliche Sorgfalt, weil ein Router, der immer dieselben Lieblinge wählt, große Teile des Modells kaum trainiert zurücklässt. Der Gewinn erklärt, warum das Design in Spitzenmodellen immer wieder auftaucht: Die Kapazität kann wachsen, ohne dass die Arbeit pro Antwort mitwächst.

Der Werkzeugkasten eines Mechanikers mit zweihundert Werkzeugen. Jede einzelne Reparatur braucht vier oder fünf davon, und er greift direkt danach, während der Rest in der Schublade bleibt, also ist die Arbeit nicht schwerer, als wäre der Kasten klein. Er hat trotzdem alle zweihundert gekauft und schleppt trotzdem den ganzen Kasten zu jedem Auftrag, denn der Sinn des ganzen Satzes ist, dass abgedeckt ist, was auch immer hereinrollt. Leichte Arbeit pro Reparatur, dauerhafte Kosten, um diese Bandbreite bereitzuhalten.