Fachbegriffe wie Token, Batch oder PUE stehen im Glossar.
Startseite > Grundlagen > Inferenz: eine Anfrage
Training passiert einmal, Inferenz bei jeder einzelnen Frage. Was zwischen dem Absenden einer Nachricht und dem ersten sichtbaren Wort geschieht, ist ein eigenes Stück Ingenieurskunst, und es bestimmt einen wachsenden Teil des Strombedarfs von KI.
Eine Eingabe in einem Chatbot wird zuerst in Token zerlegt. Ein Token ist ein Wortstück, im Deutschen oft eine Silbe oder ein kurzes Wort. Der Satz "Wie funktioniert ein Rechenzentrum?" ergibt je nach Verfahren etwa acht bis zwölf Token. Vor die eigentliche Frage setzt der Anbieter unsichtbar weitere Texte: Anweisungen zum Verhalten (Systemprompt), gegebenenfalls frühere Nachrichten des Gesprächs und Inhalte aus angebundenen Dokumenten. Was das Modell tatsächlich verarbeitet, ist deshalb fast immer deutlich länger als das, was man selbst geschrieben hat.
Im ersten Abschnitt, dem Prefill, rechnet das Modell die gesamte Eingabe in einem Durchgang durch. Das ist rechenintensiv, nutzt die GPU aber gut aus, weil viele Token parallel verarbeitet werden. Die Dauer dieser Phase bestimmt, wie lange man auf das erste Wort wartet.
Danach beginnt der Decode. Das Modell erzeugt ein Token, hängt es an und berechnet das nächste. Jeder Schritt erfordert, dass sämtliche Gewichte des Modells einmal aus dem Grafikspeicher gelesen werden. Damit ist nicht die Rechenleistung der Engpass, sondern die Speicherbandbreite. Ein Modell mit 70 Milliarden Parametern in 16-Bit-Darstellung bewegt pro erzeugtem Token rund 140 Gigabyte; bei einer Bandbreite von einigen Terabyte pro Sekunde ergibt das eine Obergrenze von einigen Dutzend Token pro Sekunde für einen einzelnen Nutzer.
Damit das Modell nicht bei jedem neuen Token die ganze bisherige Unterhaltung erneut durchrechnet, speichert es Zwischenergebnisse der Aufmerksamkeitsschichten, die sogenannten Keys und Values. Dieser KV-Cache wächst mit jedem Token. Bei langen Gesprächen kann er mehr Speicher belegen als das Modell selbst. Das erklärt, warum lange Kontextfenster teuer sind und warum Anbieter die Länge von Unterhaltungen begrenzen oder ältere Teile zusammenfassen.
Weil beim Decode ohnehin alle Gewichte gelesen werden, lohnt es sich, bei jedem Lesevorgang die Token vieler Nutzer gleichzeitig zu berechnen. Ein Inferenzserver sammelt deshalb Anfragen zu Batches. Moderne Systeme machen das fortlaufend: Sobald eine Antwort fertig ist, rückt eine neue Anfrage in den freien Platz nach (Continuous Batching). Ein bekanntes Verfahren für die Speicherverwaltung dabei ist PagedAttention aus dem Projekt vLLM (Kwon und andere, 2023), das den KV-Cache ähnlich wie ein Betriebssystem den Arbeitsspeicher in Seiten aufteilt.
Für den Betreiber ist das ein Abwägen: Größere Batches senken die Kosten und den Energiebedarf pro Token, erhöhen aber die Wartezeit des Einzelnen. Viele Dienste unterscheiden deshalb zwischen schnellen, teuren und langsameren, günstigen Varianten desselben Modells.
Verlässliche Zahlen sind rar, weil die großen Anbieter ihre Messungen selten offenlegen. Eine oft zitierte Schätzung von Alex de Vries (Joule, 2023) kam auf rund 3 Wattstunden pro Chatbot-Anfrage, etwa das Zehnfache einer klassischen Websuche. Google hat 2025 für eine durchschnittliche Textanfrage an seine Gemini-Apps einen Medianwert von 0,24 Wattstunden angegeben. Die Spanne zeigt vor allem, wie stark das Ergebnis von Modellgröße, Antwortlänge, Hardware und Auslastung abhängt. Lange Antworten, Bild- und Videoerzeugung sowie "nachdenkende" Modelle, die vor der Antwort viele interne Token erzeugen, liegen deutlich darüber.
In der Summe verschiebt sich der Schwerpunkt: Ein Modell wird einmal trainiert, aber millionenfach täglich befragt. Mehrere Analysen gehen davon aus, dass Inferenz inzwischen den größeren Teil der KI-Rechenlast ausmacht. Wie sich das auf Rechenzentren und Stromnetze auswirkt, behandelt der Beitrag Energie- und Wasserbedarf.
Wer denselben Chatbot zu verschiedenen Tageszeiten nutzt, bemerkt Unterschiede. Die Ursachen liegen fast immer in der Infrastruktur: Zu Spitzenzeiten sind die Batches voller, und neue Anfragen warten, bis ein Platz frei wird. Lange Gespräche verlängern das Prefill. Größere oder "nachdenkende" Modelle erzeugen mehr Token, bevor die eigentliche Antwort beginnt. Und je nach Standort des bedienenden Rechenzentrums kommen einige Dutzend Millisekunden Netzlaufzeit hinzu. Anbieter steuern das, indem sie bei hoher Last Anfragen auf andere Regionen umleiten oder für kostenlose Zugänge kleinere Modelle einsetzen.
Stand: November 2026, Redaktion fast project
© fast project, Hintergründe zu Rechenleistung und KI | Impressum | Datenschutz | Bildnachweis