RAG steht für Retrieval-Augmented Generation: Bevor ein Sprachmodell antwortet, sucht ein zweites System in deinen Dokumenten die passenden Textstellen heraus und gibt sie dem Modell mit. Das Modell formuliert dann eine Antwort aus diesen Stellen und nennt die Quellen. Es lernt deine Dokumente also nicht auswendig, sondern liest bei jeder Frage kurz nach. So entsteht eine KI, die Fragen zu Verträgen, Handbüchern oder Akten beantwortet, lokal auf deinem Server, wenn du willst. Marcel erklärt, wie das technisch funktioniert, wo die Grenzen liegen und was ein gutes RAG-System von einer Spielerei unterscheidet.
Das Problem, das RAG löst
Ein Sprachmodell wie das hinter ChatGPT oder ein offenes Modell auf einem eigenen Server weiß viel über die Welt, aber nichts über dein Unternehmen. Es kennt deine Preislisten nicht, nicht die Wartungsanleitung der Maschine in Halle 2 und nicht den Vertrag mit dem Lieferanten von 2021. Fragt man es trotzdem, antwortet es oft flüssig und falsch.
Es gibt drei Wege, einem Modell Firmenwissen mitzugeben. Man kann die Dokumente bei jeder Frage komplett mitschicken, das scheitert an der Menge. Man kann das Modell mit den Dokumenten nachtrainieren, das ist aufwendig, muss bei jeder Änderung wiederholt werden und macht das Modell nicht zuverlässiger bei Fakten. Oder man sucht bei jeder Frage die relevanten Stellen heraus und gibt nur diese mit. Das ist RAG, und für Firmenwissen ist es in den meisten Fällen der richtige Weg.
So funktioniert RAG, Schritt für Schritt
Ein RAG-System arbeitet in zwei Phasen: einmal vorab beim Einlesen der Dokumente und dann bei jeder Frage.
Vorab: Dokumente einlesen
- Text herausholen. Aus PDFs, Word-Dateien, E-Mails oder Wiki-Seiten wird der reine Text gezogen. Gescannte Dokumente brauchen vorher eine Texterkennung.
- In Abschnitte teilen. Der Text wird in Stücke von einigen Absätzen zerlegt, möglichst entlang von Überschriften, damit ein Abschnitt einen Gedanken enthält.
- Bedeutung als Zahlen speichern. Ein Einbettungsmodell übersetzt jeden Abschnitt in eine lange Zahlenreihe, die seine Bedeutung beschreibt. Ähnliche Inhalte bekommen ähnliche Zahlen, auch wenn andere Wörter benutzt werden.
- Ablegen. Zahlenreihen, Text und Herkunft, Datei, Seite, Rechte, landen in einer Vektordatenbank.
Bei jeder Frage: suchen, dann antworten
- Die Frage wird ebenfalls in eine Zahlenreihe übersetzt.
- Die Datenbank liefert die Abschnitte mit der größten Ähnlichkeit, oft ergänzt um eine klassische Stichwortsuche für Nummern, Namen und Fachbegriffe.
- Das Sprachmodell bekommt die Frage, die gefundenen Abschnitte und die Anweisung, nur daraus zu antworten und die Quellen zu nennen.
- Die Antwort erscheint mit Verweisen auf die Dokumente, damit du nachprüfen kannst.
Das Wichtigste daran: Die Qualität der Antwort hängt vor allem an der Suche. Findet das System die richtige Stelle nicht, kann auch das beste Modell nicht richtig antworten.
RAG, Nachtrainieren oder normale Suche?
| RAG | Nachtrainieren (Fine-Tuning) | Klassische Volltextsuche | |
|---|---|---|---|
| Was es kann | Fragen in eigenen Worten beantworten, mit Quellen | Stil, Fachsprache und Formate eines Modells anpassen | Dokumente mit bestimmten Wörtern finden |
| Neue Dokumente | Werden eingelesen und sind sofort verfügbar | Erfordern ein neues Training | Werden indexiert und sind sofort verfügbar |
| Quellenangabe | Ja | Nein | Ja, aber ohne Antwort |
| Zugriffsrechte | Lassen sich pro Dokument berücksichtigen | Nicht möglich, was trainiert ist, weiß das Modell für alle | Ja |
| Typischer Einsatz | Wissensdatenbank, Aktenrecherche, Support | Spezielle Textsorten, Klassifizierung | Ablage, Archiv |
Die Zeile mit den Zugriffsrechten ist in Unternehmen oft die entscheidende. Wer Personalakten, Gehaltslisten oder Mandantendaten in ein Modell trainiert, kann danach nicht mehr steuern, wer davon erfährt. Bei RAG lässt sich pro Abschnitt festhalten, wer ihn sehen darf, und die Suche berücksichtigt das.
Wo RAG an Grenzen stößt
- Schlechte Vorlagen. Gescannte Seiten ohne Texterkennung, Tabellen, die beim Auslesen zerfallen, Präsentationen mit drei Wörtern pro Folie. Was das System nicht lesen kann, findet es nicht.
- Veraltete und widersprüchliche Dokumente. Liegen fünf Versionen einer Richtlinie im Ordner, zitiert das System womöglich die falsche. Aufräumen vorher spart mehr als jede Technik.
- Fragen über alles. „Wie viele Verträge laufen 2027 aus?“ ist keine Frage an eine Textsuche, sondern an eine Datenbank. RAG findet einzelne Stellen, es zählt nicht zuverlässig über hunderte Dokumente.
- Falsche Sicherheit. RAG reduziert erfundene Antworten deutlich, schließt sie aber nicht aus. Deshalb gehören Quellenangaben in jede Antwort, und bei wichtigen Entscheidungen liest ein Mensch nach.
Warum die Datenlage über Erfolg und Misserfolg entscheidet, beschreiben wir ausführlicher im Artikel Warum KI-Projekte an Daten scheitern.
Wie wir RAG-Systeme aufbauen
Unsere Standardarchitektur läuft komplett auf eigener Hardware oder in unserem Hosting, ohne dass Dokumente an einen Cloud-Anbieter gehen, also als lokale KI. Das Sprachmodell läuft über Ollama oder vLLM auf einem lokalen KI-Server, die Oberfläche ist Open WebUI oder eine eigene Anwendung, die Dokumente liegen in einer Vektordatenbank auf PostgreSQL. Wer bereits Nextcloud nutzt, kann mit dem Nextcloud Assistant und Context Chat direkt dort anfangen; wo das nicht reicht, binden wir Nextcloud als Quelle an ein eigenes System an.
Vor dem Start legen wir mit dir zwanzig bis fünfzig echte Fragen fest, auf die du die richtige Antwort kennst. Gegen diese Liste testen wir, bevor jemand im Unternehmen das System nutzt, und nach jeder größeren Änderung wieder. Ohne solche Testfragen weiß niemand, ob das System besser oder schlechter geworden ist. Ein Beispiel aus der Praxis ist die Aktenrecherche mit KI ohne Cloud.
Fazit
RAG ist das Verfahren, mit dem eine KI Fragen zu deinen eigenen Dokumenten beantwortet: suchen, passende Stellen mitgeben, antworten mit Quelle. Es ist aktueller, nachprüfbarer und bei Zugriffsrechten beherrschbarer als ein nachtrainiertes Modell. Die Qualität entscheidet sich an der Suche und an den Dokumenten, nicht am größten Modell. Wie eine solche Wissensdatenbank bei dir aussehen kann, steht unter KI-Wissensdatenbank; ob lokal, EU-Cloud oder ChatGPT, klärt die Entscheidungshilfe zur lokalen KI.
Häufige Fragen
Lernt die KI bei RAG meine Dokumente?
Nein. Das Sprachmodell bleibt unverändert. Die Dokumente liegen in einer eigenen Datenbank und werden bei jeder Frage durchsucht. Löschst du ein Dokument dort, ist es auch für die KI weg.
Kann ein RAG-System Zugriffsrechte berücksichtigen?
Ja, wenn es so gebaut ist. Jeder Abschnitt trägt die Information, wer ihn sehen darf, und die Suche liefert nur Abschnitte aus, auf die der fragende Nutzer Zugriff hat. Das muss beim Aufbau geplant werden, nachträglich ist es mühsam.
Welche Dokumente eignen sich für RAG?
Alles mit lesbarem Text: Handbücher, Richtlinien, Verträge, Protokolle, Wiki-Seiten, E-Mails. Gescannte Dokumente brauchen eine Texterkennung. Tabellen und Zahlenauswertungen gehören eher in eine Datenbank oder eine Datenanalyse.
Geht RAG ohne Cloud?
Ja. Einbettungsmodell, Vektordatenbank und Sprachmodell laufen auf einem eigenen Server. Das ist unser Standard, wenn Dokumente vertraulich sind oder Berufsgeheimnisse betroffen sind.
Wie verhindere ich falsche Antworten?
Ganz verhindern lassen sie sich nicht. Sehr viel hilft eine gute Suche, aufgeräumte Dokumente, die Anweisung an das Modell, nur aus den Quellen zu antworten, sichtbare Quellenangaben und eine feste Liste von Testfragen, gegen die das System regelmäßig geprüft wird.
Stand: September 2026, wir aktualisieren diesen Artikel, wenn sich Rechtslage oder Technik ändern.
