Technik
Wie Retrieval-Augmented Generation funktioniert, sich von Upload und Fine-Tuning unterscheidet, Fehler verringert und welche Datenschutzfragen Sie stellen.
Mit RAG, Retrieval-Augmented Generation. Ihre Dokumente werden vorher in Textstellen unterteilt und in einen Suchindex aufgenommen. Stellt jemand eine Frage, sucht das System die am besten passenden Textstellen und gibt sie zusammen mit der Frage an ein Sprachmodell. Das Modell schreibt daraus eine Antwort und nennt die Quelle.
Wer nach RAG KI oder einer KI-Suchmaschine für eigene Dokumente sucht, landet bei derselben Technik. Warum eine Akte in ein Chatfenster einzufügen kein guter Weg ist, steht auf der Hauptseite über KI-Chatbots und die DSGVO.
Ein Sprachmodell kennt die Inhalte seines Trainings und das, was Sie ins Gespräch eingeben. Ihre eigenen Akten, Verträge und Notizen gehören nicht dazu. RAG löst dies, indem es dem Modell je Frage den relevanten Text liefert, statt dem Modell etwas Neues beizubringen.
Der Name stammt aus einem Forschungsartikel vom Mai 2020 von Patrick Lewis und elf Mitautoren. Sie kombinierten ein Sprachmodell mit einem durchsuchbaren Wikipedia-Index. Das Wissen im Modell selbst nannten sie parametrischen Speicher, den danebenliegenden Index nichtparametrischen Speicher. Sie nannten zwei offene Probleme von Sprachmodellen: die Herkunft einer Antwort nachzuvollziehen und das Wissen eines Modells zu aktualisieren. Ihre Modelle schrieben laut Artikel spezifischere und faktischere Texte als ein Modell ohne Index.
Eine gewöhnliche Suchmaschine liefert eine Liste von Dokumenten und überlässt Ihnen das Lesen. Eine KI-Suchmaschine auf RAG-Basis übernimmt zwei weitere Aufgaben: Sie sucht nach Bedeutung statt nach exakten Wörtern und lässt ein Sprachmodell die gefundenen Textstellen zu einer Antwort zusammenfassen. Die Suchmaschine findet, das Sprachmodell formuliert.
Das Modell entscheidet also nicht, was in Ihren Dokumenten steht. Es erhält einige Textstellen und den Auftrag, darauf eine Antwort zu stützen.
Es gibt zwei Phasen: vorher indexieren sowie je Frage suchen und antworten.
Die Suche nach Bedeutung arbeitet mit Embeddings. Ein Embedding-Modell wandelt einen Textabschnitt in eine Zahlenfolge um, die seine Bedeutung erfasst. Textstellen zum selben Thema erhalten nahe beieinanderliegende Zahlen, auch wenn sie andere Wörter verwenden. Die Frage „Wann kann der Mieter kündigen?“ findet so eine Textstelle über die „Beendigung des Vertrags durch den Nutzer der Räumlichkeiten“.
Das heißt semantische Suche. Sie ist stark bei Umschreibungen und schwach bei exakten Merkmalen wie einem Aktenzeichen oder Artikelcode. Viele Systeme kombinieren sie deshalb mit der Suche nach wörtlichen Begriffen. Anthropic beschreibt diese Kombination und einen zusätzlichen anschließenden Schritt: Eine erste breite Auswahl wird erneut geordnet, und nur die besten Textstellen gehen an das Modell.
Das Modell erhält keinen Zugriff auf den Index. Es erhält Text: die Frage, eine Anweisung und die gefundenen Textstellen. Weil jede Textstelle ihre Fundstelle mitführt, kann die Antwort auf Dokument und Seite verweisen.
Anhand dieses Verweises können Sie eine Antwort prüfen: Sie öffnen die Quelle und lesen nach.
Das Suchsystem kann Teil derselben Anwendung wie das Modell sein oder ein separater Dienst, mit dem sich ein KI-Assistent verbindet. Im zweiten Fall geschieht dies häufig über das Model Context Protocol. Wie eine solche Verbindung funktioniert und wie sich ein Assistent anmeldet, lesen Sie unter Was ist ein MCP-Server?.
Es sind drei Wege, ein Modell mit Ihren eigenen Informationen arbeiten zu lassen. Sie unterscheiden sich darin, was das Modell sieht, welcher Pflegeaufwand entsteht und was mit personenbezogenen Daten geschieht.
Sie stellen ein Dokument ins Gespräch und stellen eine Frage dazu. Das geht schnell und erfordert keine Einrichtung. Die gesamte Datei geht an den Anbieter, auch die Seiten, nach denen Sie nicht gefragt haben. Es funktioniert für einige Dokumente, nicht für ein Archiv. Die Risiken stehen unter Dokumente in einen KI-Chatbot hochladen.
Bei wenig Text ist ein Upload technisch manchmal die einfachste Lösung. Anthropic schreibt, dass eine ausreichend kleine Wissensdatenbank vollständig an das Modell mitgegeben werden kann und RAG erst bei wachsendem Umfang nötig wird. Das ist ein technisches Argument. Es sagt nichts darüber aus, ob dieser Text an den Anbieter übermittelt werden darf.
Beim Fine-Tuning trainieren Sie ein bestehendes Modell mit eigenen Beispielen weiter. OpenAI unterscheidet in seinem Leitfaden zur Genauigkeit klar: RAG gibt dem Modell Zugang zu fehlendem Wissen. Fine-Tuning verändert sein Verhalten: Form, Ton und Denkweise. Fehlen Informationen, hilft Fine-Tuning nicht. Laut OpenAI schließen sich beide Ansätze nicht aus.
Wer ein Modell aus Akten antworten lassen möchte, wählt mit Fine-Tuning daher meist das falsche Werkzeug. Ein Datenschutzbedenken kommt hinzu. Was in ein Modell eintrainiert wurde, lässt sich nicht einfach entfernen. Die europäischen Aufsichtsbehörden schrieben im Dezember 2024 in ihrer Stellungnahme zu KI-Modellen, dass im Einzelfall zu beurteilen ist, ob ein mit personenbezogenen Daten trainiertes Modell als anonym gilt. Dies ist nur der Fall, wenn es sehr unwahrscheinlich ist, dass Personen identifiziert oder ihre Daten durch Fragen aus dem Modell gewonnen werden können.
| Ansatz | Was das Modell sieht | Pflege | Datenschutz |
|---|---|---|---|
| Datei hochladen | Die gesamte Datei je Gespräch | Keine Einrichtung; jedes Mal erneut hochladen | Alles in der Datei geht an den Anbieter; keine Berechtigungen je Person; keine vorherige Prüfung |
| Fine-Tuning | Nichts je Frage: Die Beispiele wurden im Modell verarbeitet | Bei jeder Änderung neu trainieren; Wissen veraltet | Daten stecken im Modell und lassen sich schwer löschen oder korrigieren |
| RAG | Nur die zur Frage gefundenen Textstellen | Index bei Dokumentänderungen aktualisieren; das Modell bleibt gleich | Hängt von der Einrichtung ab: was im Index steht, wer suchen darf und welche Textstellen an welchen Anbieter gehen |
Die letzte Zelle ist die ehrliche: RAG kann sparsam mit Daten umgehen, tut es aber nicht automatisch.
Ein Sprachmodell ohne Quelle ergänzt, was wahrscheinlich klingt. Erhält es die Textstelle mit der Antwort, muss es nicht raten. Das erklärt, warum RAG erfundene Antworten verringert. Ausschließen kann es sie aus drei Gründen nicht.
Findet das System die falschen Textstellen, antwortet das Modell auf Grundlage des falschen Textes. OpenAI nennt im selben Leitfaden eine weitere Variante: Zu viele wenig relevante Textstellen überlagern die eine, welche die Antwort enthält.
Auch aus der richtigen Textstelle kann das Modell etwas anderes machen. OpenAI beschreibt es so: Das Modell kann den richtigen Kontext erhalten und damit das Falsche tun. Aus einer Kündigungsfrist von drei Monaten werden dann drei Wochen, oder eine Ausnahme aus dem nächsten Absatz verschwindet.
RAG ruft ab, was vorhanden ist. Steht eine veraltete Vertragsfassung im Index, ist die Antwort veraltet. Die Qualität der Antwort ist nie besser als die Qualität des Ordners.
Drei Fragen, in der Reihenfolge des Datenflusses: Was steht im Index, wer darf was finden und was geht an das Modell?
Ein Suchindex ist eine Kopie Ihrer Dokumente in Teilstücken. Stehen personenbezogene Daten in den Dokumenten, stehen sie auch in den Textstellen. Auch die Embeddings sind aus diesem Text abgeleitet. Fragen Sie einen Anbieter deshalb:
Ein Index, der alles für jeden durchsuchbar macht, zeigt auch falsch freigegebene Inhalte. Ein Dokument, das tief in einem Ordner lag und niemand fand, erscheint nun bei der ersten passenden Frage. Gutes RAG prüft bei jeder Suchanfrage, was die fragende Person sehen darf, und filtert die Ergebnisse entsprechend. Prüft das System nur beim Indexieren, ist es veraltet, sobald jemand die Abteilung wechselt. Wie dies bei einem Assistenten aussieht, der eine ganze Umgebung durchsucht, steht unter Microsoft 365 Copilot und die DSGVO.
Die gefundenen Textstellen werden Teil des Gesprächs. Läuft das Sprachmodell bei einer anderen Partei als der Index, gehen diese Textstellen samt Inhalt dorthin und unterliegen deren Aufbewahrungsrichtlinie. Die eigene Frage des Nutzers geht ebenfalls dorthin.
Hier wird Datenminimierung konkret. Artikel 5 Absatz 1 Buchstabe c DSGVO verlangt, Daten auf das Notwendige zu beschränken. Bei RAG werden daraus drei Stellschrauben: Wie viele Textstellen gehen je Frage mit, wie lang sind sie und enthalten sie noch Namen? Welcher Anbieter welche Vereinbarungen bietet, lesen Sie unter Welcher Tarif für die geschäftliche Nutzung?.
Eine RAG-Anwendung mit Akten ist eine Verarbeitung und gehört mit den Anbietern von Index, Embeddings und Sprachmodell in Ihr Verarbeitungsverzeichnis. Ob eine DSFA erforderlich ist, hängt vom Inhalt der Dokumente und vom Umfang ab. Einen Ansatz finden Sie unter DSFA für KI-Tools.
Eine kurze Liste zum Abgleich mit einem Angebot.
PrivaSearch ist ein Suchsystem nach diesem Muster, mit einem vorherigen Schritt: Bevor ein Dokument durchsuchbar wird, werden personenbezogene Daten erkannt und durch Pseudonyme ersetzt; ein Kollege gibt das Ergebnis frei. Derselbe Name erhält innerhalb eines Projekts immer dasselbe Pseudonym, damit eine Textstelle lesbar bleibt. Bis zur Freigabe ist ein Dokument nicht durchsuchbar. Die Schritte stehen unter So funktioniert PrivaSearch.
Im Index steht somit geprüfter, pseudonymisierter Text. Die semantische Suche nutzt einen europäischen KI-Anbieter mit Auftragsverarbeitungsvertrag und nur diesen Text. Die Erkennung personenbezogener Daten erfolgt innerhalb von PrivaSearch selbst, ohne externen KI-Anbieter. Es gibt eine Ausnahme, beschrieben unter Hosting in der EU: Ein Scan ohne Textebene geht als Datei an denselben europäischen Anbieter, um den Text zu extrahieren; danach folgen dieselbe Pseudonymisierung und Prüfung. Originale, Suchindex und Erkennung laufen in Rechenzentren in der EU. Welche Partei welchen Schritt übernimmt, steht in der Übersicht der Unterauftragsverarbeiter.
Die Suche erfolgt je Projekt und liefert Textstellen mit Quellenangabe, nur für Personen mit Zugriff. Bei einer verbundenen SharePoint-Bibliothek wird bei jeder Anfrage live geprüft, ob der Nutzer das Dokument dort weiterhin sehen darf. Gibt jemand einen Namen in das Suchfeld von PrivaSearch ein, wird dieser ersetzt, bevor die Frage das Modell erreicht. Je Projekt gilt ein Enddatum. Danach werden Kopien, Textfragmente und Pseudonyme entfernt, sofern kein Legal Hold (Aufbewahrungspflicht) gilt.
Soll ein Assistent eine Antwort schreiben, verbinden Sie Claude, ChatGPT Business oder Mistral Vibe (früher Le Chat). Der Assistent erhält je Suchanfrage höchstens acht Textstellen aus demselben freigegebenen Text, nie eine Datei. Was zurückgegeben wird, wird Teil des Gesprächs und gelangt zum Anbieter dieses Assistenten. Deshalb ist es pseudonymisiert und begrenzt. Pseudonymisierte Daten bleiben für Ihre Organisation personenbezogene Daten: Es ist kein Anonymisieren. Der Unterschied steht unter Pseudonymisieren oder anonymisieren.
Möchten Sie sehen, wie eine Frage mit Quellenangabe anhand eigener fiktiver Dokumente aussieht? Fragen Sie eine Demo an.
RAG steht für Retrieval-Augmented Generation. Ein System sucht zunächst die am besten passenden Textstellen in einer eigenen Dokumentensammlung und gibt sie zusammen mit der Frage an ein Sprachmodell. Das Modell schreibt daraus eine Antwort, häufig mit Quellenangabe. Das Modell lernt dabei nichts hinzu: Die Dokumente liegen in einem Suchindex neben dem Modell.
RAG gibt einem Modell je Frage fehlende Informationen aus einem Index, den Sie unabhängig vom Modell aktualisieren. Fine-Tuning trainiert das Modell selbst mit Beispielen weiter und verändert vor allem sein Verhalten: Form, Ton und Vorgehen. Für Antworten aus eigenen Akten ist RAG meist der passende Ansatz. In ein Modell eintrainierte Daten lassen sich außerdem schwer löschen.
Das hängt von der Einrichtung ab, nicht von der Technik. Stellen Sie drei Fragen: Was steht im Index, wer darf was finden und welche Textstellen gehen an welchen Anbieter? Ein System, das Berechtigungen je Suchanfrage prüft, wenig Text je Antwort mitgibt und personenbezogene Daten vorher ersetzt, verarbeitet deutlich weniger als ein System, das alles für jeden durchsuchbar macht.
Ja. RAG verringert erfundene Antworten, weil das Modell den Text mit der Antwort erhält. Die Suche kann aber falsche Textstellen liefern, das Modell eine richtige Textstelle falsch wiedergeben und die Quelle selbst veraltet sein. Zu jeder Antwort gehört deshalb eine Quellenangabe, die Sie öffnen, bevor Sie sich auf die Antwort verlassen.
Ein Embedding ist eine Zahlenfolge, die die Bedeutung eines Textabschnitts erfasst. Ein Embedding-Modell erstellt eines für jede Textstelle und jede Suchanfrage. Texte mit ähnlicher Bedeutung erhalten nahe beieinanderliegende Zahlen. So findet ein Suchsystem Textstellen zum selben Thema, auch wenn sie andere Wörter verwenden. Embeddings sind aus dem Text abgeleitet und unterliegen deshalb derselben Aufbewahrungsfrist.
Nicht die Dokumente als Ganzes. Wohl aber die Textstellen, die zu einer Frage gefunden wurden: Sie werden Teil des Gesprächs und unterliegen der Aufbewahrungsrichtlinie des Modellanbieters. Auch die Frage des Nutzers geht dorthin. Wie viel mitgeht, hängt von Anzahl und Länge der Textstellen und noch enthaltenen personenbezogenen Daten ab. Fragen Sie Ihren Anbieter nach allen drei Punkten.
Was das Model Context Protocol ist, wie sich eine Verbindung vom Datei-Upload unterscheidet, was ein Assistent erhält und welche Risiken Sie prüfen.
Was ein Sprachmodell tut, was Tokens und Kontextfenster sind, warum ein Modell Dinge erfindet und was es von Ihren Eingaben behält oder vergisst.
Was ein KI-Detektor misst, warum das Ergebnis eine Wahrscheinlichkeit statt eines Beweises ist und was Sie vor Vorwürfen gegen Mitarbeitende regeln.
Wir zeigen es mit fiktiven Akten aus Ihrer Branche: Upload, Erkennung, Prüfung, Suche und die Verbindung mit Ihrem KI-Assistenten. Danach wissen Sie genau, was Ihr Team sicher nutzen kann.
Demo planen →