Fachbegriffe wie Token, Batch oder PUE stehen im Glossar.
Startseite > Mensch > Technik hinter KI-Begleitern
KI-Begleiter sind Chatbots, die als dauerhafte Gesprächspartner auftreten: mit Namen, Persönlichkeit und dem Anschein, sich an frühere Gespräche zu erinnern. Technisch steckt dahinter dieselbe Infrastruktur wie hinter jedem anderen Sprachmodell, ergänzt um einige spezielle Bausteine.
Unter der Oberfläche arbeitet ein großes Sprachmodell, häufig ein lizenziertes Modell eines großen Anbieters oder ein feinabgestimmtes Modell mit offenen Gewichten. Es wird bei jeder Nachricht neu aufgerufen, genau wie bei einem gewöhnlichen Chatbot (siehe Inferenz). Das Modell selbst verändert sich durch die Gespräche eines einzelnen Nutzers in aller Regel nicht. Was wie Lernen wirkt, entsteht durch die Bausteine drumherum.
Die Persönlichkeit eines Begleiters steckt vor allem in einem Systemprompt, einer unsichtbaren Beschreibung, die vor jedes Gespräch gesetzt wird. Darin stehen Name, Alter, Hintergrund, Sprechweise, Vorlieben und Regeln. Viele Dienste lassen Nutzer diese Beschreibung selbst gestalten. Zusätzlich werden Modelle teilweise mit Dialogbeispielen feinabgestimmt, damit sie einen bestimmten Ton zuverlässiger treffen.
Weil die Persona nur Text ist, kann sie über lange Gespräche "verrutschen": Das Modell gewichtet jüngere Nachrichten stärker, und die anfängliche Beschreibung verliert an Einfluss. Anbieter wiederholen deshalb Teile der Persona in regelmäßigen Abständen oder platzieren sie besonders prominent.
Ein Sprachmodell sieht bei jeder Antwort nur das, was in sein Kontextfenster passt: Systemprompt, eingefügte Erinnerungen und so viel vom bisherigen Gespräch, wie der Platz zulässt. Aktuelle Modelle schaffen Zehntausende bis über eine Million Token. Lange Kontexte sind aber teuer, weil der Speicherbedarf für den KV-Cache und die Rechenzeit mit der Länge wachsen. Viele Dienste begrenzen deshalb den mitgeschickten Verlauf auf die letzten Nachrichten.
Damit ein Begleiter sich an den Namen der Schwester oder an ein Vorstellungsgespräch vor drei Wochen "erinnert", werden Informationen außerhalb des Modells gespeichert. Gängige Verfahren:
Daraus ergeben sich typische Effekte: Der Begleiter erinnert sich an ein Detail, vergisst aber ein anderes, weil die Suche es nicht gefunden hat. Oder er verknüpft Informationen falsch, weil eine Zusammenfassung ungenau war. Für Nutzer wirkt das wie ein launisches Gedächtnis, technisch ist es eine Frage von Speicherplatz, Suchverfahren und Kosten.
Viele Begleiter sprechen. Dafür wird gesprochene Sprache in Text umgewandelt, vom Sprachmodell beantwortet und per Sprachsynthese zurückgegeben; neuere Systeme verarbeiten Audio auch direkt. Damit sich ein Gespräch natürlich anfühlt, muss die Antwort in Sekundenbruchteilen beginnen. Das erfordert Rechenkapazität in der Nähe der Nutzer und kleine, schnelle Modelle. Generierte Selfies oder Avatare laufen über separate Bildmodelle.
Zwischen Nutzer und Modell sitzen meist Klassifikatoren, die Eingaben und Antworten prüfen, etwa auf Hinweise auf Selbstgefährdung, Minderjährige oder verbotene Inhalte. Wie streng sie eingestellt sind, ist eine Entscheidung des Anbieters. Dass Aufsichtsbehörden hier genau hinsehen, zeigte 2023 Italien: Die dortige Datenschutzaufsicht stoppte den Begleiterdienst Replika für Nutzer im Land zeitweise, ein Kritikpunkt war die fehlende Kontrolle des Alters.
Sprachmodelle werden nach dem Vortraining mit Bewertungen von Menschen nachtrainiert. Menschen bewerten freundliche, bestätigende Antworten häufig besser. Eine Untersuchung von Mrinank Sharma und anderen (2023) zeigte, dass verbreitete Assistenzmodelle dadurch zu "Sykophantie" neigen: Sie geben Nutzern eher recht, auch wenn diese falsch liegen. In einem Begleiter, der emotionale Nähe vermitteln soll, kann diese Neigung besonders ausgeprägt sein. Welche Folgen das für die Beziehung zwischen Mensch und Chatbot hat, behandelt der Beitrag Bindung an Chatbots.
Alles, was ein Begleiter "weiß", liegt auf Servern des Anbieters: Gesprächsverläufe, Erinnerungen, Sprachaufnahmen. Die KI-Verordnung der EU verpflichtet Anbieter, Menschen darüber zu informieren, dass sie mit einem KI-System interagieren, und verbietet manipulative Techniken, die Menschen erheblich schaden. Für die gespeicherten Daten gilt die Datenschutz-Grundverordnung mit Auskunfts- und Löschrechten.
Jede Nachricht verursacht Rechenkosten, und bei Begleitern, mit denen manche Nutzer täglich stundenlang schreiben, summieren sie sich. Anbieter reagieren darauf mit technischen Abwägungen: Kostenlose Zugänge laufen häufig über kleinere Modelle oder kürzere Kontexte, ältere Gesprächsteile werden früher zusammengefasst, Sprach- und Bildfunktionen sind oft kostenpflichtig. Für Nutzer kann sich ein Begleiter deshalb spürbar verändern, wenn sich das Abomodell oder das zugrunde liegende Modell ändert, obwohl Name und Persona gleich bleiben.
Stand: November 2026, Redaktion fast project
© fast project, Hintergründe zu Rechenleistung und KI | Impressum | Datenschutz | Bildnachweis