Rechenleistung und Infrastruktur hinter KI
fast project erklärt, was hinter künstlicher Intelligenz an Technik steckt: wie große Sprachmodelle auf Tausenden Grafikprozessoren trainiert werden, was bei jeder Chatbot-Anfrage im Rechenzentrum passiert, wie viel Strom und Wasser das kostet und welche Rolle Supercomputer, Gesetze und der eigene Rechner spielen. Verständlich, mit Quellen und ohne Werbung.
Wie das Training großer Sprachmodelle auf Tausende Rechner verteilt wird
Ein großes Sprachmodell passt auf keinen einzelnen Chip. Daten-, Tensor- und Pipelineparallelität verteilen das Training auf Tausende GPUs, die wochenlang im Gleichtakt rechnen und dabei ständig Daten austauschen.
Inferenz: Was bei jeder Chatbot-Anfrage im Rechenzentrum passiert
Token, Prefill, Decode und KV-Cache: Zwischen dem Absenden einer Frage und dem ersten Wort der Antwort passiert mehr, als man denkt. Und es kostet bei jeder Anfrage Strom.
Energie- und Wasserbedarf von KI: was die Zahlen sagen
Die Internationale Energieagentur erwartet, dass sich der Stromverbrauch von Rechenzentren bis 2030 mehr als verdoppelt. Was die Zahlen bedeuten und warum auch Wasser eine Rolle spielt.
Rechenzentren für KI in Deutschland und Europa
Frankfurt, Dublin, Kajaani: Wo in Europa KI-Rechenzentren entstehen, warum Netzanschlüsse knapp werden und was das deutsche Energieeffizienzgesetz verlangt.
JUPITER, EuroHPC und die Supercomputer Europas
JUPITER in Jülich ist als erster Exascale-Rechner Europas ausgelegt. Ein Überblick über die öffentlichen Supercomputer der EU und ihre Rolle für KI.
Skalierung: Warum KI-Modelle immer größer werden und wo das endet
Mehr Daten, mehr Chips, bessere Modelle: Die Skalierungsgesetze haben die KI-Entwicklung geprägt. Doch Daten, Energie und Physik setzen Grenzen.
KI auf dem eigenen Rechner: Was lokal möglich ist
Ein Sprachmodell mit acht Milliarden Parametern passt nach Quantisierung auf eine gewöhnliche Grafikkarte. Was lokal möglich ist und wo die Grenzen liegen.
Was technisch hinter einem KI-Begleiter steckt: Gedächtnis, Kontextfenster, Persona
KI-Begleiter wirken, als würden sie sich erinnern. Technisch stecken dahinter ein Systemprompt, ein begrenztes Kontextfenster und eine Datenbank.
Mehr zur Technik der Begleiter »
Bindung an Chatbots: Was die Forschung sagt und welche Rolle die Technik spielt
Von ELIZA bis zu randomisierten Studien mit Tausend Teilnehmenden: Was die Forschung über Beziehungen zu Chatbots weiß und welche Rolle die Technik spielt.
Scheduling: Wie Rechenzeit auf GPU-Clustern verteilt wird
Wer bekommt wann wie viele GPUs? Warteschlangen, Backfilling und Topologie entscheiden über die Auslastung teurer Cluster.
Weitere Beiträge behandeln Container im KI-Rechenzentrum und offene Modelle. Fachbegriffe erklärt das Glossar.
Kurz notiert
Rund 415 TWh Strom verbrauchten Rechenzentren 2024 weltweit, etwa 1,5 Prozent des globalen Bedarfs (IEA).
Neue Rechenzentren in Deutschland müssen ab Juli 2026 einen PUE-Wert von 1,2 einhalten.
16.384 GPUs nutzte Meta für das größte Llama-3-Modell.