Startseite > Grundlagen > Training auf tausend Rechnern
Wie das Training großer Sprachmodelle auf Tausende Rechner verteilt wird
Ein großes Sprachmodell entsteht nicht auf einem Rechner, sondern auf Tausenden Grafikprozessoren, die wochenlang im Gleichtakt arbeiten. Wie die Arbeit aufgeteilt wird, entscheidet darüber, ob die Hardware rechnet oder wartet.
Training heißt bei einem Sprachmodell: Das Modell sieht einen Textausschnitt, sagt das jeweils nächste Wortstück (Token) voraus, vergleicht die Vorhersage mit dem tatsächlichen Text und korrigiert seine Gewichte ein kleines Stück. Dieser Schritt wiederholt sich Billionen Mal. Jede Wiederholung besteht im Kern aus Matrixmultiplikationen, und genau dafür sind Grafikprozessoren (GPUs) und verwandte Beschleuniger gebaut: viele Tausend einfache Rechenwerke, die dieselbe Operation gleichzeitig auf vielen Zahlen ausführen.
Ein einzelner Beschleuniger reicht trotzdem bei weitem nicht. Ein Modell mit 400 Milliarden Parametern braucht in 16-Bit-Darstellung allein für die Gewichte rund 800 Gigabyte Speicher, dazu kommen Zwischenergebnisse und die Zustände des Optimierers, die ein Mehrfaches davon ausmachen. Der Speicher einer aktuellen Rechenzentrums-GPU liegt im Bereich von 80 bis knapp 200 Gigabyte. Das Modell muss also zerlegt werden, und die Teile müssen ständig miteinander reden.
Drei Arten, die Arbeit zu teilen
In der Praxis werden drei Verfahren kombiniert. Die Grafik zeigt sie vereinfacht nebeneinander.
Datenparallelität ist die älteste und einfachste Form. Jede Gruppe von GPUs hält eine Kopie des Modells und bekommt einen anderen Ausschnitt der Trainingsdaten. Nach jedem Schritt werden die berechneten Korrekturen (Gradienten) zwischen allen Kopien gemittelt, damit alle wieder denselben Stand haben. Diese Mittelung heißt All-Reduce und ist eine Operation, die aus dem wissenschaftlichen Hochleistungsrechnen stammt, wo sie seit Jahrzehnten über die Programmierschnittstelle MPI (Message Passing Interface) genutzt wird. Verfeinerungen wie ZeRO (Rajbhandari und andere, 2020) verteilen zusätzlich die Optimiererzustände, damit nicht jede Kopie alles doppelt speichern muss.
Tensorparallelität schneidet einzelne Rechenschritte auf. Eine große Matrixmultiplikation wird auf mehrere GPUs verteilt, die jeweils einen Streifen berechnen. Weil die Teilergebnisse nach fast jeder Schicht zusammengeführt werden müssen, funktioniert das nur zwischen Chips mit sehr schneller Verbindung, typischerweise innerhalb eines Servers mit acht GPUs. Das Verfahren wurde unter anderem mit Megatron-LM (Shoeybi und andere, 2019) bekannt.
Pipelineparallelität verteilt die Schichten des Netzes. Die ersten Schichten liegen auf einer Gruppe von GPUs, die nächsten auf der folgenden und so weiter. Die Daten wandern wie am Fließband hindurch. Damit nicht alle Stationen außer einer warten, wird jeder Datenblock in kleine Mikro-Batches zerlegt, die zeitversetzt nachrücken (GPipe, Huang und andere, 2019).
Bei sehr langen Texten kommt eine vierte Achse hinzu: Die Sequenz selbst wird über GPUs verteilt (Kontext- oder Sequenzparallelität). Große Trainingsläufe nennen ihre Kombination deshalb oft "4D-Parallelität".
Ein dokumentiertes Beispiel
Ungewöhnlich offen hat Meta das Training seiner Modellfamilie Llama 3 beschrieben (The Llama 3 Herd of Models, 2024). Das größte Modell mit 405 Milliarden Parametern wurde auf bis zu 16.384 GPUs vom Typ H100 trainiert, laut Modellkarte mit rund 31 Millionen GPU-Stunden. Tensorparallelität blieb innerhalb eines Servers, Pipeline- und Datenparallelität spannten sich über das gesamte Cluster.
Aufschlussreich ist der Bericht über Störungen: In einem Zeitraum von 54 Tagen kam es zu 419 unerwarteten Unterbrechungen, der größte Teil davon durch Hardware, vor allem GPUs und ihren Speicher. Bei 16.000 Bauteilen ist ein Defekt keine Ausnahme, sondern Alltag. Deshalb sichern Trainingsläufe in kurzen Abständen ihren Zustand (Checkpoint), damit nach einem Ausfall nicht Tage verloren gehen.
Warum das Netzwerk so wichtig ist
Die Rechenleistung einer GPU nützt wenig, wenn sie auf Daten von anderen GPUs wartet. Innerhalb eines Servers sind die Chips über spezielle Hochgeschwindigkeitsverbindungen gekoppelt, zwischen den Servern über InfiniBand oder schnelles Ethernet mit mehreren Hundert Gigabit pro Sekunde je GPU. Ein großer Teil der Ingenieursarbeit besteht darin, Kommunikation und Rechnung zu überlappen: Während eine Schicht rechnet, laufen die Daten der vorherigen bereits durchs Netz.
Gemessen wird der Erfolg an der Auslastung. Eine verbreitete Kennzahl ist MFU (Model FLOPs Utilization), also der Anteil der theoretisch möglichen Rechenleistung, der tatsächlich in nützliche Modellrechnung fließt. Bei großen Läufen gelten Werte um 40 Prozent als gut. Der Rest geht an Kommunikation, Speicherzugriffe, Wartezeiten und Wiederanläufe verloren.
Was nach dem Vortraining kommt
Das beschriebene Vortraining ist der teuerste Abschnitt. Danach folgen kleinere Phasen: Feinabstimmung auf Dialoge, Training mit menschlichen oder maschinellen Bewertungen (etwa RLHF) und Sicherheitstests. Sie brauchen deutlich weniger Rechenzeit, laufen aber oft auf derselben Infrastruktur und folgen denselben Prinzipien der Verteilung.
Kurz zusammengefasst
- Ein großes Modell passt auf keinen einzelnen Chip und wird deshalb auf drei bis vier Achsen zerlegt.
- Die Grundoperationen, vor allem All-Reduce, stammen aus dem klassischen Hochleistungsrechnen.
- Bei Zehntausenden Bauteilen sind Ausfälle eingeplant; Checkpoints sind Pflicht.
- Wie verteilte Läufe auf ein gemeinsames Cluster gelangen, erklärt der Beitrag über Scheduling; was danach beim Beantworten einer Frage passiert, steht unter Inferenz.
Stand: November 2026, Redaktion fast project