Startseite > Praxis > KI auf dem eigenen Rechner
KI auf dem eigenen Rechner: Was lokal möglich ist
Sprachmodelle laufen nicht nur in großen Rechenzentren. Kleinere Modelle lassen sich auf einem gewöhnlichen Laptop oder Desktop-Rechner betreiben, ohne dass eine Eingabe das Gerät verlässt. Was dafür nötig ist und wo die Grenzen liegen.
Warum lokal?
Der wichtigste Grund ist Kontrolle über die eigenen Daten. Bei einem Online-Dienst wandern Eingaben, Dokumente und Gesprächsverläufe auf fremde Server, wo sie je nach Anbieter gespeichert, ausgewertet oder für das Training genutzt werden können. Ein lokal laufendes Modell verarbeitet alles auf dem eigenen Gerät. Für vertrauliche Texte, Geschäftsunterlagen oder Gesundheitsfragen kann das den Ausschlag geben. Weitere Gründe: keine laufenden Kosten pro Anfrage, Nutzung ohne Internetverbindung und die Möglichkeit, verschiedene Modelle frei auszuprobieren.
Die entscheidende Größe: Speicher
Ob ein Modell auf einem Rechner läuft, hängt vor allem davon ab, ob seine Gewichte in den schnellen Speicher passen. Als Faustregel gilt: Parameterzahl mal Bits pro Gewicht geteilt durch acht ergibt den Bedarf in Byte, plus einen Zuschlag für den Kontext.
| Modellgröße | 16 Bit | 8 Bit | 4 Bit |
|---|---|---|---|
| 3 Milliarden Parameter | 6 GB | 3 GB | knapp 2 GB |
| 8 Milliarden | 16 GB | 8 GB | 4 bis 5 GB |
| 30 Milliarden | 60 GB | 30 GB | 16 bis 18 GB |
| 70 Milliarden | 140 GB | 70 GB | 35 bis 40 GB |
Modelle mit 4-Bit-Quantisierung sind deshalb der Normalfall auf Heimrechnern. Ein Modell mit acht Milliarden Parametern passt so auf eine Grafikkarte mit 8 Gigabyte Speicher oder in den Arbeitsspeicher eines Laptops mit 16 Gigabyte.
Welche Hardware hilft
- Grafikkarten mit viel eigenem Speicher sind am schnellsten. Entscheidend ist weniger die Rechenleistung als die Speicherbandbreite, weil beim Erzeugen jedes Wortes alle Gewichte gelesen werden (siehe Inferenz).
- Rechner mit gemeinsamem Speicher für Prozessor und Grafik, etwa aktuelle Apple-Geräte, können größere Modelle laden, als es eine einzelne Grafikkarte mit gleichem Preis erlauben würde.
- Reine Prozessorberechnung funktioniert ebenfalls, ist aber deutlich langsamer.
- NPUs in neueren Laptops sind auf sparsame KI-Aufgaben ausgelegt. Microsoft verlangt für die Geräteklasse "Copilot+ PC" eine NPU mit mindestens 40 TOPS. Für große Sprachmodelle werden sie bislang erst teilweise genutzt.
Software
Eine zentrale Rolle spielt das quelloffene Projekt llama.cpp, das 2023 entstand und Sprachmodelle effizient auf gewöhnlicher Hardware ausführt. Es hat das Dateiformat GGUF etabliert, in dem viele quantisierte Modelle verbreitet werden. Darauf bauen verschiedene Programme mit einfacher Bedienoberfläche auf, etwa Ollama oder LM Studio. Die Modelle selbst kommen meist von Plattformen wie Hugging Face. Vor dem Herunterladen lohnt ein Blick in die Lizenz: Nicht jedes Modell mit herunterladbaren Gewichten darf für jeden Zweck genutzt werden (siehe offene Modelle).
Was realistisch ist
Lokale Modelle mit 7 bis 14 Milliarden Parametern beherrschen Zusammenfassungen, Umformulierungen, einfache Programmierhilfe und Fragen zu eingefügten Dokumenten recht ordentlich. Bei komplexem Fachwissen, langen Argumentationsketten oder aktuellen Ereignissen liegen sie deutlich hinter den großen Diensten. Sie wissen nur, was bis zu ihrem Trainingsstand in den Daten war, und erfinden bei Wissenslücken ebenso wie große Modelle plausibel klingende Antworten.
Deutlich besser werden lokale Modelle, wenn sie eigene Dokumente als Grundlage bekommen. Programme dafür zerlegen Handbücher, Protokolle oder Notizen in Abschnitte, legen sie als Embeddings ab und fügen bei einer Frage die passenden Stellen in den Kontext ein. Das Modell muss dann weniger aus dem Gedächtnis beantworten und kann auf die Fundstelle verweisen. Fehlerfrei ist auch das nicht, aber für interne Unterlagen, die nie ins Netz sollen, ist es ein praktikabler Weg.
Auch der Stromverbrauch verschwindet nicht, er verlagert sich nur. Eine leistungsstarke Grafikkarte zieht unter Volllast mehrere Hundert Watt. Für gelegentliche Anfragen ist das unerheblich, für Dauerbetrieb nicht. Rechenzentren sind pro Anfrage oft effizienter, weil sie viele Nutzer gleichzeitig bedienen.
Sicherheit und Datenschutz
Lokal heißt nicht automatisch sicher. Modelldateien und Zusatzprogramme sollten aus vertrauenswürdigen Quellen stammen. Manche Programme öffnen eine Netzwerkschnittstelle, die bei falscher Einstellung auch aus dem Internet erreichbar ist. Das Bundesamt für Sicherheit in der Informationstechnik (BSI) hat Hinweise zu Chancen und Risiken großer Sprachmodelle veröffentlicht, die auch für den lokalen Einsatz nützlich sind. Wer im Unternehmen personenbezogene Daten verarbeitet, bleibt auch lokal an die Datenschutz-Grundverordnung gebunden, gewinnt aber den Vorteil, dass keine Übermittlung an Dritte stattfindet.
Ein typischer Einstieg
- Speicher prüfen: Wie viel Grafikspeicher oder Arbeitsspeicher ist frei?
- Ein kleines Modell mit 3 bis 8 Milliarden Parametern in 4-Bit-Quantisierung wählen und dessen Lizenz lesen.
- Eine Ausführungssoftware installieren, das Modell laden und mit kurzen Aufgaben testen.
- Erst wenn das zuverlässig läuft, größere Modelle oder längere Kontexte ausprobieren.
Wer mehrere Modelle vergleicht, sollte dieselben Testfragen verwenden und auch die Geschwindigkeit in Token pro Sekunde notieren. So zeigt sich schnell, welche Größe für den eigenen Rechner das beste Verhältnis aus Qualität und Wartezeit bietet.
Stand: November 2026, Redaktion fast project