Fachbegriffe wie Token, Batch oder PUE stehen im Glossar.
Startseite > Grundlagen > Skalierung und Grenzen
Seit einigen Jahren gilt in der KI-Entwicklung eine Faustregel: mehr Rechenleistung, mehr Daten und größere Modelle ergeben bessere Ergebnisse. Die Regel hat eine solide empirische Grundlage. Sie hat aber auch Grenzen, die zunehmend sichtbar werden.
2020 veröffentlichte eine Forschungsgruppe um Jared Kaplan eine Untersuchung, nach der der Fehler eines Sprachmodells sehr regelmäßig sinkt, wenn man Parameterzahl, Datenmenge und Rechenaufwand erhöht (Scaling Laws for Neural Language Models). Die Zusammenhänge folgen Potenzgesetzen: Jede Verzehnfachung des Aufwands bringt eine ähnlich große, vorhersagbare Verbesserung. Für Entwickler war das wertvoll, weil sich der Nutzen eines teuren Trainings im Voraus abschätzen ließ.
2022 korrigierte eine Arbeit von DeepMind (Hoffmann und andere, bekannt als "Chinchilla") die Gewichtung. Viele damalige Modelle waren im Verhältnis zu ihren Trainingsdaten zu groß. Bei festem Rechenbudget ist es effizienter, ein kleineres Modell mit deutlich mehr Text zu trainieren; als grober Richtwert gelten etwa 20 Token pro Parameter. Seitdem werden Modelle oft sogar weit über diesen Punkt hinaus trainiert, weil kleinere Modelle später im Betrieb billiger sind.
Die Forschungsorganisation Epoch AI verfolgt den Rechenaufwand bekannter Modelle. Nach ihren Auswertungen ist das Trainingsbudget der jeweils größten Modelle in den vergangenen Jahren um ungefähr das Vier- bis Fünffache pro Jahr gestiegen. Zum Vergleich: Die Leistung einzelner Chips verbessert sich deutlich langsamer. Der Rest des Wachstums kommt daher, dass schlicht mehr Chips länger rechnen, was sich direkt in Investitionen, Fläche und Stromanschlüssen niederschlägt.
| Faktor | Was wächst | Wo es eng wird |
|---|---|---|
| Rechenleistung | Zahl der Beschleuniger, Laufzeit | Chipfertigung, Kosten, Netzanschluss |
| Daten | Menge hochwertiger Texte | öffentlich verfügbare Texte sind endlich |
| Energie | Leistung ganzer Standorte | Netzausbau, Genehmigungen, Kühlung |
| Kommunikation | Datenverkehr zwischen Chips | Latenz, Ausfälle, Synchronisation |
Hochwertiger, öffentlich zugänglicher Text ist begrenzt. Eine Studie von Epoch AI (Villalobos und andere) schätzt, dass der Bestand an öffentlichem menschlichem Text bei anhaltendem Trend irgendwann zwischen 2026 und 2032 weitgehend ausgeschöpft sein könnte. Ausweichstrategien sind synthetische Daten, die von anderen Modellen erzeugt werden, mehrfaches Training auf denselben Daten, Lizenzvereinbarungen mit Verlagen und andere Datentypen wie Bilder, Video oder Code. Jede dieser Strategien hat eigene Nachteile, etwa das Risiko, dass Modelle Fehler ihrer Vorgänger verstärken.
Ein Trainingscluster mit 100.000 Beschleunigern benötigt mit Kühlung und Netzwerk eine Anschlussleistung von deutlich über 100 Megawatt, so viel wie eine mittelgroße Stadt. Solche Anschlüsse lassen sich nicht beliebig schnell bereitstellen. In mehreren europäischen Regionen sind Netzkapazitäten für neue Rechenzentren bereits knapp. Mehr dazu im Beitrag Rechenzentren in Deutschland und Europa.
Je mehr Chips an einem Training beteiligt sind, desto größer wird der Anteil der Zeit, in dem sie Daten austauschen statt rechnen, und desto häufiger fällt irgendwo ein Bauteil aus. Bei sehr großen Läufen werden deshalb Rechenzentren an mehreren Standorten zusammengeschaltet, was neue Probleme mit Latenz und Bandbreite bringt.
Potenzgesetze bedeuten auch: Jede weitere Verbesserung kostet ein Vielfaches des vorherigen Aufwands. Ob die messbare Verringerung des Vorhersagefehlers in nützliche Fähigkeiten übersetzt wird, ist eine offene Frage. Standardtests sind teilweise gesättigt, neue Benchmarks entstehen laufend.
Seit 2024 setzen mehrere Anbieter auf einen zweiten Hebel: Modelle, die vor der Antwort längere interne Gedankengänge erzeugen. Statt nur das Training zu vergrößern, wird mehr Rechenleistung pro Anfrage eingesetzt. Für die Infrastruktur heißt das, dass die Last vom einmaligen Training stärker zur laufenden Inferenz wandert, mit entsprechenden Folgen für den Energiebedarf im Alltag.
Skalierung ist kein Naturgesetz, sondern eine empirische Beobachtung über einen bestimmten Zeitraum. Sie hat bisher erstaunlich gut gehalten. Ob sie weiter trägt, hängt weniger von der Mathematik ab als von sehr irdischen Faktoren: Chipfabriken, Stromleitungen, Wasserrechte und der Frage, wer die Rechnung bezahlt.
Parallel zum Wachstum gibt es eine starke Gegenbewegung. Durch Destillation lernt ein kleines Modell, die Ausgaben eines großen nachzuahmen, und erreicht so einen Teil von dessen Fähigkeiten zu einem Bruchteil der Kosten. Neue Zahlenformate mit 8 oder weniger Bit beschleunigen Training und Inferenz auf aktueller Hardware. Bessere Datenauswahl bringt mit weniger Text bessere Ergebnisse. Die Folge: Modelle, die vor zwei Jahren an der Spitze standen, werden heute von deutlich kleineren Modellen erreicht. Ob diese Effizienzgewinne den Gesamtbedarf senken oder durch mehr Nutzung aufgezehrt werden, ist eine der wichtigsten offenen Fragen für die Energieplanung.
Stand: November 2026, Redaktion fast project
© fast project, Hintergründe zu Rechenleistung und KI | Impressum | Datenschutz | Bildnachweis