RAG-KI: wie künstliche Intelligenz mit Unternehmenswissen arbeitet und wann sie sich lohnt

RAG einfach erklärt

Ein großes Sprachmodell (ein Programm, das Text versteht und schreibt) weiß viel über die Welt, aber nichts über Ihr Unternehmen: die aktuelle Preisliste, die Garantiebedingungen oder die Vereinbarungen mit einem bestimmten Kunden. Danach gefragt, verweigert es entweder die Antwort oder rät. Letzteres ist schlimmer. RAG-KI löst dieses Problem einfach: Bevor das Modell antwortet, sucht das System in den Unternehmensdokumenten nach Abschnitten, die zur Frage passen, und gibt sie dem Modell als Material.

Der Name stammt aus einer wissenschaftlichen Arbeit von Patrick Lewis und Mitautoren, veröffentlicht im Mai 2020. Die Begriffe RAG LLM und LLM RAG bedeuten dasselbe, nämlich RAG auf Basis eines großen Sprachmodells (LLM, engl. large language model). In Unternehmen spricht man auch einfach von einer KI-Wissensbasis oder von KI auf Firmenwissen.

RAG ist oft Teil eines KI-Agenten. Ein Agent, der Kundenfragen beantwortet oder vor einem Termin eine Notiz vorbereitet, nutzt die Wissensbasis als eines seiner Werkzeuge, ähnlich wie eine Suchmaschine oder eine Tabelle. Wie ein Agent solche Werkzeuge nutzt und was das kostet, beschreiben wir im Artikel KI-Agent in Marketing und PR, und die übrigen Bereiche des Themas haben wir zusammengestellt in Leitfaden zu künstlicher Intelligenz für Unternehmen.

Wie RAG unter der Haube funktioniert

Die technischen Details können Sie der IT überlassen. Die vier Phasen sollten Sie aber verstehen, denn in jeder kann ein Fehler entstehen:

1. Vorbereitung der Dokumente. Dateien werden in kürzere Passagen aufgeteilt, zum Beispiel Absätze oder Abschnitte eines Vertrags.
2. Erfassung der Bedeutung. Jede Passage wird in eine Zahlenfolge umgewandelt, die ihre Bedeutung beschreibt (ein sogenanntes Embedding), und landet in einer Vektordatenbank, die nach Bedeutung statt nach exakten Wörtern sucht. Das ist semantische Suche: Die Frage „Was kostet die Lieferung nach Tschechien?“ findet eine Passage über „Gebühren für internationalen Transport“, obwohl darin weder das Wort „Lieferung“ noch „Tschechien“ vorkommt.
3. Suche. Stellt jemand eine Frage, wählt das System einige der am besten passenden Passagen aus.
4. Antwort. Das Modell schreibt auf Grundlage dieser Passagen eine Antwort und gibt in einem gut aufgebauten System auch an, aus welchem Dokument die Information stammt.

Für wen RAG im Unternehmen sinnvoll ist und in welcher Situation

RAG ist im Unternehmen dort sinnvoll, wo Menschen täglich Antworten in Dokumenten suchen oder Kollegen am Nachbartisch immer wieder dasselbe fragen. Typische Situationen:

• Vertrieb. Vertriebsmitarbeiter suchen in Preislisten und Spezifikationen sowie in den Handelsbedingungen, und der Assistent antwortet mit Verweis auf das Dokument.
• Kundenservice. Ein RAG-Chatbot, also ein Chatbot auf Basis von Unternehmensdokumenten, beantwortet Fragen zu Lieferungen, Rücksendungen und Garantien. Wann ein solcher Chatbot hilft und wann er abschreckt, beschreiben wir im Leitfaden zu KI im Kundenservice.
• PR. Die Kommunikationsabteilung durchsucht das Archiv von Mitteilungen, Stellungnahmen und Antworten an Medien, um mit einer Stimme zu sprechen. Wie man Mitteilungen schreibt, die gut auffindbar sind und zitiert werden, zeigen wir anhand von Daten im Artikel Pressemitteilung im Zeitalter der KI.
• HR und interne Kommunikation. Beschäftigte fragen den Assistenten nach Regelungen und Benefits oder nach Verfahren, statt der Personalabteilung zu schreiben.

RAG, Fine-Tuning oder langer Kontext: Was wählen?

RAG ist nicht der einzige Weg, einer KI das Wissen des Unternehmens „beizubringen“. Feinabstimmung (engl. fine-tuning) verändert das Modell selbst. Langer Kontext bedeutet, ganze Dokumente in die Unterhaltung einzufügen. Das funktioniert bei einigen Dateien, bei Hunderten von Dokumenten, die sich jeden Monat ändern, wird es aber schnell teuer, langsam und schwer reproduzierbar. Jede Methode passt zu einer anderen Situation.

Beseitigt RAG Halluzinationen?

Nein. Sie werden verringert, aber nicht beseitigt. Forscher aus Stanford untersuchten 2024 Rechtstools, deren Anbieter dank RAG Antworten „ohne Halluzinationen“ versprachen, und stellten fest, dass die untersuchten Tools in 17–33 % der Fälle falsch lagen oder etwas erfanden, also seltener als allgemeine Chatbots, aber immer noch zu oft für Anwendungen, bei denen jedes Wort zählt.

Woher kommen diese Fehler? Das System kann die falsche Passage finden. Ein Dokument kann veraltet sein, und das Modell kann Informationen aus zwei Stellen falsch verknüpfen. Ursachen und Wege, Erfindungen einzudämmen, zerlegen wir in einem eigenen Artikel über KI-Halluzinationen.

Wie Sie RAG im Unternehmen Schritt für Schritt einführen

Diese Reihenfolge bewährt sich sowohl bei fertigen Tools als auch bei einer von Grund auf gebauten Lösung. Soll RAG Teil eines Agenten sein, lesen Sie auch den Leitfaden darüber, wie man einen eigenen KI-Agenten baut.

1. SCHRITT 01Wählen Sie einen Wissensbereich

   Zum Beispiel Handelsbedingungen und Preislisten. Nicht „das ganze Firmenlaufwerk“.

2. SCHRITT 02Sammeln Sie echte Fragen

   Schreiben Sie 30–50 Fragen auf, die Menschen wirklich stellen, zusammen mit den richtigen Antworten. Das wird Ihr Test.

3. SCHRITT 03Ordnen Sie die Dokumente

   Entfernen Sie alte Versionen, kennzeichnen Sie Gültigkeitsdaten und teilen Sie große Dateien in logische Teile auf.

4. SCHRITT 04Legen Sie Berechtigungen fest

   Wer darf wonach fragen? Der Assistent eines Vertriebsmitarbeiters sollte keine Gehaltsdaten sehen.

5. SCHRITT 05Bauen und testen

   Lassen Sie die gesamte Fragenliste durch das System laufen und zählen Sie, wie viele Antworten korrekt sind, wie viele die richtige Quelle haben und wie viele schlicht falsch sind.

6. SCHRITT 06Benennen Sie einen Wissensverantwortlichen

   Eine Person sorgt dafür, dass die neue Preisliste die alte in der Datenbank am Tag ihres Inkrafttretens ersetzt.

Was KI auf Basis des Unternehmenswissens kostet

Die Kosten hängen davon ab, ob Sie ein fertiges Tool nutzen oder ein eigenes System aufbauen. In beiden Fällen ist die Zeit der Menschen am teuersten. Das Ordnen von Dokumenten und die Tests verschlingen den größten Teil davon, besonders in Unternehmen, in denen dieselbe Preisliste in fünf Versionen durch die Postfächer der Vertriebsmitarbeiter kreist und niemand mehr weiß, welche aktuell ist.

Die Qualität der Dokumente bestimmt die Qualität der Antworten

RAG bringt keine Ordnung in das Dokumentenchaos. Es macht es nur schneller sichtbar. Drei Versionen derselben Richtlinie, eine undatierte Preisliste, ein Angebot mit abgelaufenem Rabatt: Das System findet sie alle, und das Modell antwortet auf Grundlage der Version, die am besten zur Frage passt, nicht der, die gerade gilt.

Deshalb ist eine RAG-Einführung zur Hälfte ein Projekt zur Ordnung des Wissens. Davon profitiert das ganze Unternehmen, denn eine einzige verlässliche Quelle zu Preisen und Verfahren erleichtert interne Kommunikation auch in Abteilungen, in denen niemand KI nutzt.

Wann sich RAG lohnt und wann der Aufwand nicht lohnt

RAG lohnt sich, wenn Wissen in Dokumenten festgehalten ist, sich häufig ändert und viele Menschen täglich danach suchen. Ein guter Zeitpunkt ist die Phase vor einer Preisänderung, der Einführung eines neuen Angebots oder der Einstellung einer größeren Gruppe neuer Mitarbeiter, denn dann hat die Wissensbasis vom ersten Tag an Nutzer.

Der Aufwand lohnt nicht, wenn es nur wenige Dokumente gibt, die sich selten ändern. Dann genügt es, sie in einen Assistenten einzufügen, wie wir im Artikel darüber zeigen, wie ein KI-Assistent im Unternehmen funktioniert. Beginnen Sie auch nicht, solange das Wissen nur in den Köpfen der Menschen existiert. Zuerst muss es aufgeschrieben werden. Die Auswahl des Tools passend zum Ökosystem des Unternehmens besprechen wir im Vergleich ChatGPT, Gemini oder Copilot für Unternehmen.

Sicherheit, Berechtigungen und personenbezogene Daten

Eine KI-Wissensbasis sieht so viel, wie Sie hineingeben. Landen dort Verträge mit personenbezogenen Daten oder Gehaltsinformationen, kann jeder mit Zugang zum Assistenten danach fragen, und zwar ohne böse Absicht, mit einer ganz normalen Frage wie „Wie viel verdient man als Regionalleiter?“. Legen Sie Berechtigungen daher auf Dokumentebene fest, nicht nur für das gesamte System.

Prüfen Sie außerdem, wo der Anbieter die Dokumente speichert, ob er sie zum Training von Modellen nutzt und ob Sie mit ihm einen Auftragsverarbeitungsvertrag haben. Ausführlicher über die Risiken schreiben wir im Beitrag über Risiken und Ethik der KI. Sie möchten einen Assistenten auf Basis des Unternehmenswissens aufbauen, mit Kontrolle über Quellen und Berechtigungen? Sprechen Sie mit KI-Agentur Commplace®.

Woran RAG-Projekte am häufigsten scheitern

Weiterlesen