Startseite > Grundlagen > Glossar

Glossar: Begriffe rund um Rechenleistung und KI

Die wichtigsten Fachbegriffe aus den Beiträgen, jeweils in zwei bis drei Sätzen. Verweise führen zu den ausführlichen Texten.

A B C D E F G H I K L M N O P Q R S T V W

Abwärmenutzung: Weiterverwendung der Wärme aus Rechenzentren, etwa in Fernwärmenetzen. Das Energieeffizienzgesetz schreibt für neue Anlagen Mindestanteile vor.
All-Reduce: Kommunikationsoperation, bei der alle beteiligten Rechner ihre Werte zusammenführen (etwa mitteln) und alle das Ergebnis erhalten. Grundbaustein des verteilten Trainings.
Batch: Gruppe von Eingaben, die gemeinsam verarbeitet wird. Im Training ein Paket von Textausschnitten, in der Inferenz die gleichzeitig bedienten Anfragen.
Checkpoint: Gespeicherter Zwischenstand eines Trainingslaufs, von dem aus nach einem Ausfall weitergerechnet werden kann.
Container: Abgeschlossene Laufzeitumgebung mit Programm und allen Abhängigkeiten, die auf verschiedenen Rechnern gleich startet. Siehe Container im Rechenzentrum.
Destillation: Training eines kleinen Modells mit den Ausgaben eines großen. Ergebnis ist ein günstigeres Modell mit ähnlichem Verhalten in Teilbereichen.
Embedding: Darstellung eines Textes als Zahlenvektor, sodass inhaltlich ähnliche Texte nahe beieinanderliegen. Grundlage für Suche und Gedächtnisfunktionen.
Exaflops: Eine Trillion (10¹⁸) Gleitkommaoperationen pro Sekunde. Maßstab für die schnellsten Supercomputer.
Feinabstimmung (Fine-Tuning): Nachtraining eines fertigen Modells mit wenigen, gezielt ausgewählten Daten, etwa für Dialoge oder ein Fachgebiet.
FLOP: Floating Point Operation, eine einzelne Rechenoperation mit Kommazahlen. Der Gesamtaufwand eines Trainings wird in FLOP angegeben, die Geschwindigkeit in FLOP pro Sekunde.
GPU: Graphics Processing Unit. Ursprünglich für Grafik entwickelt, heute der wichtigste Beschleuniger für KI, weil er viele gleichartige Rechnungen parallel ausführt.
Halluzination: Plausibel klingende, aber falsche Ausgabe eines Sprachmodells, etwa erfundene Quellen oder Zahlen.
HBM: High Bandwidth Memory. Stapelspeicher direkt neben dem Rechenchip, sehr schnell und teuer. Seine Bandbreite begrenzt oft die Antwortgeschwindigkeit.
Inferenz: Nutzung eines fertig trainierten Modells, also das Beantworten von Anfragen. Siehe Was bei jeder Anfrage passiert.
InfiniBand: Netzwerktechnik mit sehr geringer Latenz, verbreitet in Supercomputern und KI-Clustern.
Kontextfenster: Maximale Zahl von Token, die ein Modell in einem Durchgang berücksichtigen kann: Systemprompt, Gesprächsverlauf, eingefügte Dokumente und Antwort zusammen.
KV-Cache: Zwischenspeicher der Aufmerksamkeitsschichten. Erspart Neuberechnungen, wächst aber mit der Länge des Gesprächs.
Latenz: Verzögerung zwischen Anfrage und Antwort. Bei Chatbots vor allem die Zeit bis zum ersten Token.
LoRA: Low-Rank Adaptation. Verfahren zur Feinabstimmung, bei dem nur kleine Zusatzmatrizen trainiert werden. Senkt den Speicherbedarf stark.
Mixture of Experts: Modellaufbau aus vielen Teilnetzen, von denen pro Token nur einige aktiv sind. Spart Rechenzeit, nicht Speicher.
MPI: Message Passing Interface. Standard für den Nachrichtenaustausch zwischen Prozessen auf vielen Rechnern, seit den 1990er-Jahren Grundlage des wissenschaftlichen Hochleistungsrechnens.
NPU: Neural Processing Unit. Spezialisierter KI-Baustein in Laptops und Smartphones, ausgelegt auf geringe Leistungsaufnahme.
Offene Gewichte (Open Weights): Die trainierten Parameter eines Modells sind herunterladbar. Das ist nicht dasselbe wie Open Source, siehe offene Modelle.
Parameter: Die lernbaren Zahlenwerte eines Modells. Ihre Anzahl wird oft als Maß für die Größe genannt, etwa 8 oder 405 Milliarden.
PUE: Power Usage Effectiveness. Gesamtstromverbrauch eines Rechenzentrums geteilt durch den Verbrauch der IT. Ein Wert von 1,2 bedeutet 20 Prozent Zusatzbedarf für Kühlung, Stromverteilung und Gebäude.
Quantisierung: Speicherung von Gewichten mit weniger Bits, etwa 4 statt 16. Verkleinert Modelle stark, meist mit geringem Qualitätsverlust.
Rack: Genormter Schrank für Server und Netztechnik. Die Leistung pro Rack ist ein Maß für die Dichte eines Rechenzentrums.
RLHF: Reinforcement Learning from Human Feedback. Nachtraining mit menschlichen Bewertungen, damit Antworten hilfreicher und sicherer werden.
Scheduler: Software, die entscheidet, welche Rechenaufträge wann auf welchen Knoten laufen. Siehe Scheduling.
Sykophantie: Neigung eines Modells, Nutzern nach dem Mund zu reden, auch wenn diese falsch liegen.
Systemprompt: Für Nutzer meist unsichtbare Anweisung, die der Anbieter jeder Unterhaltung voranstellt, etwa zu Ton, Rolle und Grenzen.
Token: Kleinste Texteinheit, mit der ein Sprachmodell arbeitet, meist ein Wortstück. Abrechnung und Kontextgrenzen werden in Token gemessen.
Vortraining (Pre-Training): Erste und aufwendigste Trainingsphase, in der ein Modell an sehr großen Textmengen lernt, das nächste Token vorherzusagen.
WUE: Water Usage Effectiveness. Wasserverbrauch eines Rechenzentrums in Litern pro Kilowattstunde IT-Energie.

Fehlt ein Begriff? Hinweise nimmt die Redaktion über die Kontaktseite entgegen.

Stand: November 2026, Redaktion fast project