RAG implementieren: Architektur, Chunking, Vektordatenbanken und Evaluierung

Was bedeutet es, RAG zu implementieren, und wie funktioniert es?

Eine RAG-Implementierung verbindet ein Large Language Model mit Ihrem eigenen Wissen, sodass es aus Ihren Dokumenten antwortet statt aus dem Gedächtnis. Zum Zeitpunkt der Anfrage durchsucht das System Ihre indexierten Inhalte, wählt die relevantesten Passagen aus, fügt sie in den Prompt ein und lässt das Modell mit Quellenangaben antworten.

Eine produktive RAG-Architektur hat zwei Pipelines:

1. Ingestion-Pipeline: Quellen anbinden, Dateien parsen, Text bereinigen, in Chunks aufteilen, Embeddings erzeugen, Chunks mit Metadaten und Zugriffsregeln speichern und alles synchron halten.
2. Abfrage-Pipeline: die Frage verstehen, hybride Suche ausführen, Ergebnisse neu ranken, den Prompt zusammenstellen, die Antwort generieren, Quellenangaben anhängen und alles für die Evaluierung protokollieren.

Die meisten RAG-Fehler entstehen in der ersten Pipeline, nicht im Modell. Wenn eine Tabelle als Rauschen geparst oder eine Richtlinie in der Mitte zerteilt wird, kann kein Modell die Antwort retten. Dieser Leitfaden geht jede Stufe so durch, wie wir sie bei Lytvynov Production angehen. Zur Umsetzung siehe unsere Services für RAG-Entwicklung.

Wie sollten Sie Dokumente einlesen und parsen?

Die Ingestion sollte jede Quelle in sauberen Text mit Struktur und Metadaten verwandeln: Titel, Überschriften, Quell-URL, Autor, Datumsangaben, Dokumenttyp, Sprache und wer den Inhalt lesen darf. Investieren Sie hier echte Zeit, denn die Qualität des Parsings setzt die Obergrenze für die Qualität der Antworten.

Häufige Quellen und was sie brauchen:

• PDFs und Office-Dateien: layoutbewusstes Parsing, das Überschriften, Listen und Tabellen erhält, OCR für gescannte Seiten.
• Wikis und Hilfecenter (Confluence, Notion, Zendesk, Intercom): API-Konnektoren, die auch Berechtigungen und Änderungszeitpunkte abrufen.
• Tickets, Chats und E-Mails: Rekonstruktion von Verläufen, Deduplizierung zitierter Antworten und Entfernen von Signaturen.
• Datenbanken und Produktkataloge: Datensätze in kurzen lesbaren Text umwandeln oder sie direkt über Tools abfragen, statt sie einzubetten.

Viele unordentliche Formate in eine saubere Tabelle zu überführen, ist oft der schwierigste Teil. Im Projekt AI Grief Companion haben wir Parser für zehn Chat-Exportformate geschrieben (WhatsApp, Messenger, Instagram, Discord, iMessage aus einem iPhone-Backup, Android-SMS und andere) und alle in eine einheitliche Nachrichtentabelle überführt, bevor irgendein KI-Schritt lief. Dieselbe Lehre gilt für Geschäftsdaten: Investieren Sie zuerst in ein einheitliches, normalisiertes Modell. Unsere Sportkalender-Plattform zeigt dieselbe Disziplin außerhalb von KI, mit einer Parsing-Engine, die Daten aus Hunderten externer Kalender vereinheitlicht.

Welche Chunking-Strategie sollten Sie verwenden?

Teilen Sie zuerst nach Dokumentstruktur und erst danach nach Größe. Trennen Sie an Überschriften, Abschnitten, Listeneinträgen oder Nachrichtenverläufen und begrenzen Sie Chunks dann auf eine Größe, die eine vollständige Aussage enthält, typischerweise 200-800 Tokens mit kleiner Überlappung.

Ergänzen Sie jeden Chunk um Kontext: Stellen Sie den Dokumenttitel und den Abschnittspfad voran ("Erstattungsrichtlinie > Kunden in der EU > Digitale Güter"), damit der Chunk für sich allein verständlich ist. Dieser eine Schritt verbessert das Retrieval oft stärker als der Wechsel des Embedding-Modells.

Wie wählen Sie ein Embedding-Modell aus?

Wählen Sie ein Embedding-Modell, das Ihre Sprachen und Ihr Fachvokabular beherrscht, und testen Sie dann zwei oder drei Kandidaten mit Ihrem eigenen Golden Set. Gehostete Embedding-APIs von OpenAI und anderen sind ein sinnvoller Standard. Embedding-Modelle mit offenen Gewichten sind eine gute Wahl, wenn Daten in Ihrer Infrastruktur bleiben müssen.

Speichern Sie Embedding-Modell und Version mit jedem gespeicherten Vektor. Ein späterer Modellwechsel bedeutet, den gesamten Korpus neu einzubetten. Planen Sie das als normalen Hintergrundjob, nicht als Notfall. Prüfen Sie bei mehrsprachigen Inhalten, ob eine Frage in einer Sprache Dokumente in einer anderen Sprache findet, falls Ihre Nutzer das brauchen.

Welche Vektordatenbank sollten Sie für RAG verwenden?

Verwenden Sie die Datenbank, die Ihr Team gut betreiben kann. Bei den meisten RAG-Systemen im Unternehmen unterhalb von zig Millionen Chunks hängt die Qualität des Retrievals weit stärker von Chunking, hybrider Suche und Reranking ab als von der Wahl des Vektorspeichers.

Unser Standard für SaaS-Kunden auf PostgreSQL ist pgvector, weil Berechtigungen und Mandanten-IDs direkt neben den Vektoren liegen und ein System weniger abgesichert werden muss. Zu einer dedizierten Engine wechseln wir, wenn Umfang oder Filteranforderungen es rechtfertigen.

Warum hybride Suche und Reranking?

Hybride Suche kombiniert Stichwortsuche (BM25) mit Vektorsuche, weil jede Methode Dinge findet, die die andere übersieht. Vektorsuche versteht Umschreibungen, Stichwortsuche findet exakte Produktcodes, Fehlermeldungen, Namen und Abkürzungen. Ein Reranker ordnet die kombinierten Kandidaten anschließend nach ihrer tatsächlichen Relevanz für die Frage neu.

Ein typischer Abfrageablauf: Die Nutzerfrage in eine eigenständige Suchanfrage umschreiben (Bezüge wie "es" und "das" aus dem Gespräch auflösen), Stichwort- und Vektorsuche parallel mit Berechtigungsfiltern ausführen, die Ergebnisse zusammenführen (Reciprocal Rank Fusion ist eine einfache Methode), die besten 30-50 Kandidaten mit einem Cross-Encoder oder einer Reranking-API neu ordnen und die besten 5-10 für den Prompt behalten. Reranking bringt in einem RAG-Projekt meist einen der größten Qualitätsgewinne pro Stunde Entwicklungsarbeit.

Wie stellen Sie den Prompt zusammen und fügen Quellenangaben hinzu?

Stellen Sie den Prompt mit klaren Abschnitten zusammen: Systemregeln, abgerufene Passagen, jeweils mit einer Quellen-ID gekennzeichnet, das bisherige Gespräch und die Frage. Weisen Sie das Modell an, nur aus den Passagen zu antworten, für jede Aussage Quellen-IDs zu zitieren und klar zu sagen, wenn die Quellen die Antwort nicht enthalten.

Validieren Sie die Quellenangaben nach der Generierung im Code: Jede zitierte ID muss in der abgerufenen Menge existieren, und Antworten ohne Quellenangaben für Tatsachenbehauptungen können markiert oder neu generiert werden. Zeigen Sie Quellenangaben in der Oberfläche als Links zum Originaldokument und Abschnitt. Nutzer vertrauen Antworten, die sie überprüfen können, und Support-Teams können das Quelldokument korrigieren, statt mit der KI zu diskutieren. Für das größere Bild der Integration (Streaming, Guardrails, Kosten) siehe unseren Leitfaden, wie Sie ChatGPT oder Claude in Ihr Produkt integrieren.

Wie gehen Sie mit Berechtigungen und Zugriffskontrolle in RAG um?

Setzen Sie Berechtigungen beim Retrieval durch, bevor irgendeine Passage das Modell erreicht. Speichern Sie Zugriffsmetadaten (Mandanten-ID, Team, Rolle, Dokument-ACL) mit jedem Chunk und wenden Sie sie in der Suchanfrage als Filter für den aktuellen Nutzer an.

Verlassen Sie sich nie auf den Prompt, um Inhalte zu verbergen ("gib keine HR-Dokumente preis"), denn Modelle lassen sich von Anweisungen abbringen. Synchronisieren Sie Berechtigungsänderungen aus den Quellsystemen schnell und entfernen Sie Chunks, wenn Dokumente gelöscht werden. In einem mandantenfähigen SaaS ist ein Mandantenfilter bei jeder Abfrage Pflicht, und wir ergänzen automatisierte Tests, die versuchen, Daten eines anderen Mandanten abzurufen. Sensible Inhalte brauchen unter Umständen zusätzlich Verschlüsselung im Ruhezustand. Die Plattform AI Grief Companion verschlüsselt jede Nachricht beim Import einzeln mit AES-256-GCM und unterstützt das Löschen aller Daten mit einem Klick.

Wie evaluieren Sie ein RAG-System?

Evaluieren Sie Retrieval und Generierung getrennt, mit einem Golden Set aus echten Fragen. Ohne Golden Set ist jede Änderung ein Ratespiel, und Teams optimieren Prompts am Ende auf das Beispiel, über das sich zuletzt jemand beschwert hat.

• Golden Set: 100-300 echte Fragen mit Referenzantworten und den Quelldokumenten, die gefunden werden sollten. Nehmen Sie auch Fragen auf, deren Antwort nicht im Korpus steht.
• Retrieval-Metriken: Recall at k (war die richtige Passage unter den obersten k?) und Qualität des Rankings.
• Generierungs-Metriken: Treue (ist jede Aussage durch abgerufene Passagen gestützt?), Relevanz der Antwort, Vollständigkeit und Genauigkeit der Quellenangaben. Ein zweites Modell kann diese anhand einer Bewertungsrubrik benoten, während Menschen eine Stichprobe prüfen.
• Signale aus dem Produktivbetrieb: Daumen nach unten, umformulierte Nachfragen, Eskalationen an einen Menschen und unbeantwortete Fragen.

Führen Sie das Set bei jeder Änderung an Parsing, Chunking, Embeddings, Sucheinstellungen, Prompts oder Modellen aus und blockieren Sie Releases, die die Werte verschlechtern.

Wie halten Sie einen RAG-Index aktuell?

Halten Sie den Index mit inkrementeller Synchronisierung aktuell: Erkennen Sie neue, geänderte und gelöschte Dokumente in jeder Quelle und aktualisieren Sie nur die betroffenen Chunks. Speichern Sie pro Dokument einen Inhalts-Hash und einen Änderungszeitstempel, damit unveränderte Dateien übersprungen werden.

Webhooks aus den Quellsystemen liefern Updates nahezu in Echtzeit. Geplante Jobs (stündlich oder nächtlich) reichen für langsamer veränderliche Inhalte. Ergänzen Sie die Suche um Aktualitätsmetadaten, damit neuere Versionen einer Richtlinie vor älteren ranken, und archivieren Sie überholte Dokumente, statt sie konkurrieren zu lassen. Überwachen Sie Sync-Jobs wie jede andere produktive Pipeline, denn ein stiller Sync-Fehler führt dazu, dass der Assistent sich bei den Änderungen des letzten Monats selbstbewusst irrt.

Was sind die häufigsten Fehlerbilder bei RAG?

Die häufigsten Fehler sind Retrieval-Fehler, die wie Modellfehler aussehen. Wenn eine Antwort falsch ist, prüfen Sie zuerst, ob die richtige Passage überhaupt abgerufen wurde.

RAG, Fine-Tuning oder langer Kontext: was sollten Sie wählen?

Wählen Sie RAG für Wissen, Fine-Tuning für Verhalten und langen Kontext für kleines Material pro Anfrage. Die Ansätze ergänzen sich, statt zu konkurrieren, und viele produktive Systeme nutzen zwei davon gemeinsam.

Die Plattform AI Grief Companion ist ein reales Beispiel für die Kombination von Ansätzen. Sie erstellt aus dem Chatverlauf des Nutzers ein Persönlichkeitsprofil, einen Faktengraphen in Neo4j und die Vorbereitung für RAG und trainiert LoRA-Adapter (SFT und CPT auf Qwen2.5-7B mit 4-Bit-QLoRA) für die Stimme einer bestimmten Person, wobei vLLM zum Zeitpunkt der Anfrage den passenden Adapter lädt. Der Chat nutzt jeweils die Stufe, die bereits fertig ist, sodass ein Gespräch schon möglich ist, bevor das Training abgeschlossen ist. Fine-Tuning bestimmt, wie die Person schreibt, Retrieval bestimmt, was sie gesagt hat.

So arbeiten wir an RAG-Projekten

Bei Lytvynov Production beginnen RAG-Projekte mit einem kurzen Scoping-Gespräch: Wir sehen uns eine Stichprobe Ihrer echten Dokumente und die Fragen Ihrer Nutzer an und geben Ihnen dann ein Festpreisangebot für die Entwicklung. Im ersten Meilenstein erstellen wir ein Golden Set und testen Parsing und Retrieval daran. Danach liefern wir in Meilensteinen und berichten bei jedem die Evaluierungswerte. Wenn Sie einen Wissensassistenten oder einen KI-Chatbot über Unternehmensdaten planen, nehmen Sie Kontakt auf.