RAG-KI: wie künstliche Intelligenz mit Unternehmenswissen arbeitet und wann sie sich lohnt

RAG AI, czyli co to jest w prostych słowach

Ein großes Sprachmodell (ein Programm, das Text versteht und schreibt) weiß viel über die Welt, aber nichts über Ihr Unternehmen: die aktuelle Preisliste, die Garantiebedingungen oder die Vereinbarungen mit einem bestimmten Kunden. Danach gefragt, verweigert es entweder die Antwort oder rät. Letzteres ist schlimmer. RAG-KI löst dieses Problem einfach: Bevor das Modell antwortet, sucht das System in den Unternehmensdokumenten nach Abschnitten, die zur Frage passen, und gibt sie dem Modell als Material.

Der Name stammt aus einer wissenschaftlichen Arbeit von Patrick Lewis und Mitautoren, veröffentlicht im Mai 2020. Die Begriffe RAG LLM und LLM RAG znaczą to samo, czyli RAG zbudowany na dużym modelu językowym (LLM, ang. large language model). W firmach mówi się też po prostu o bazie wiedzy AI albo o AI na wiedzy firmy. Z kolei „AI RAG” to ta sama rzecz z odwróconą kolejnością słów. A jeśli wpisujesz w wyszukiwarkę „RAG co to jest”, najkrótsza odpowiedź brzmi: to sposób, w jaki AI najpierw szuka, a dopiero potem pisze.

RAG ist oft Teil eines KI-Agenten. Ein Agent, der Kundenfragen beantwortet oder vor einem Termin eine Notiz vorbereitet, nutzt die Wissensbasis als eines seiner Werkzeuge, ähnlich wie eine Suchmaschine oder eine Tabelle. Wie ein Agent solche Werkzeuge nutzt und was das kostet, beschreiben wir im Artikel KI-Agent in Marketing und PR, und die übrigen Bereiche des Themas haben wir zusammengestellt in Leitfaden zu künstlicher Intelligenz für Unternehmen.

Wie RAG unter der Haube funktioniert

Die technischen Details können Sie der IT überlassen. Die vier Phasen sollten Sie aber verstehen, denn in jeder kann ein Fehler entstehen:

1. Vorbereitung der Dokumente. Dateien werden in kürzere Passagen aufgeteilt, zum Beispiel Absätze oder Abschnitte eines Vertrags.
2. Erfassung der Bedeutung. Jede Passage wird in eine Zahlenfolge umgewandelt, die ihre Bedeutung beschreibt (ein sogenanntes Embedding), und landet in einer Vektordatenbank, die nach Bedeutung statt nach exakten Wörtern sucht. Das ist semantische Suche: Die Frage „Was kostet die Lieferung nach Tschechien?“ findet eine Passage über „Gebühren für internationalen Transport“, obwohl darin weder das Wort „Lieferung“ noch „Tschechien“ vorkommt.
3. Suche. Stellt jemand eine Frage, wählt das System einige der am besten passenden Passagen aus.
4. Antwort. Das Modell schreibt auf Grundlage dieser Passagen eine Antwort und gibt in einem gut aufgebauten System auch an, aus welchem Dokument die Information stammt.

Für wen RAG im Unternehmen sinnvoll ist und in welcher Situation

RAG ist im Unternehmen dort sinnvoll, wo Menschen täglich Antworten in Dokumenten suchen oder Kollegen am Nachbartisch immer wieder dasselbe fragen. Typische Situationen:

• Vertrieb. Handlowcy szukają w cennikach i specyfikacjach, a także w warunkach handlowych, a asystent odpowiada, wskazując dokument, więc oferta sprzedażowa powstaje szybciej i bez nieaktualnych cen.
• Kundenservice. Ein RAG-Chatbot, also ein Chatbot auf Basis von Unternehmensdokumenten, beantwortet Fragen zu Lieferungen, Rücksendungen und Garantien. Wann ein solcher Chatbot hilft und wann er abschreckt, beschreiben wir im Leitfaden zu KI im Kundenservice.
• PR. Die Kommunikationsabteilung durchsucht das Archiv von Mitteilungen, Stellungnahmen und Antworten an Medien, um mit einer Stimme zu sprechen. Wie man Mitteilungen schreibt, die gut auffindbar sind und zitiert werden, zeigen wir anhand von Daten im Artikel Pressemitteilung im Zeitalter der KI.
• HR und interne Kommunikation. Pracownicy pytają asystenta o regulaminy i benefity albo o procedury, zamiast pisać do działu kadr, co w większej firmie wyraźnie usprawnia przepływ informacji.

RAG, Fine-Tuning oder langer Kontext: Was wählen?

RAG ist nicht der einzige Weg, einer KI das Wissen des Unternehmens „beizubringen“. Feinabstimmung (engl. fine-tuning) verändert das Modell selbst. Langer Kontext bedeutet, ganze Dokumente in die Unterhaltung einzufügen. Das funktioniert bei einigen Dateien, bei Hunderten von Dokumenten, die sich jeden Monat ändern, wird es aber schnell teuer, langsam und schwer reproduzierbar. Jede Methode passt zu einer anderen Situation.

Beseitigt RAG Halluzinationen?

Nein. Sie werden verringert, aber nicht beseitigt. Forscher aus Stanford untersuchten 2024 Rechtstools, deren Anbieter dank RAG Antworten „ohne Halluzinationen“ versprachen, und stellten fest, dass die untersuchten Tools in 17–33 % der Fälle falsch lagen oder etwas erfanden, also seltener als allgemeine Chatbots, aber immer noch zu oft für Anwendungen, bei denen jedes Wort zählt.

Woher kommen diese Fehler? Das System kann die falsche Passage finden. Ein Dokument kann veraltet sein, und das Modell kann Informationen aus zwei Stellen falsch verknüpfen. Ursachen und Wege, Erfindungen einzudämmen, zerlegen wir in einem eigenen Artikel über KI-Halluzinationen.

Praktyczny wniosek dla testu: licz osobno odpowiedzi błędne i odpowiedzi w rodzaju „nie znalazłem tego w dokumentach”. Te drugie są bezpieczne. Pierwsze kosztują, bo ktoś na ich podstawie wyśle klientowi złą cenę albo zły termin.

Wie Sie RAG im Unternehmen Schritt für Schritt einführen

Diese Reihenfolge bewährt sich sowohl bei fertigen Tools als auch bei einer von Grund auf gebauten Lösung. Soll RAG Teil eines Agenten sein, lesen Sie auch den Leitfaden darüber, wie man einen eigenen KI-Agenten baut.

1. SCHRITT 01Wählen Sie einen Wissensbereich

   Zum Beispiel Handelsbedingungen und Preislisten. Nicht „das ganze Firmenlaufwerk“.

2. SCHRITT 02Sammeln Sie echte Fragen

   Schreiben Sie 30–50 Fragen auf, die Menschen wirklich stellen, zusammen mit den richtigen Antworten. Das wird Ihr Test.

3. SCHRITT 03Ordnen Sie die Dokumente

   Entfernen Sie alte Versionen, kennzeichnen Sie Gültigkeitsdaten und teilen Sie große Dateien in logische Teile auf.

4. SCHRITT 04Legen Sie Berechtigungen fest

   Wer darf wonach fragen? Der Assistent eines Vertriebsmitarbeiters sollte keine Gehaltsdaten sehen.

5. SCHRITT 05Bauen und testen

   Lassen Sie die gesamte Fragenliste durch das System laufen und zählen Sie, wie viele Antworten korrekt sind, wie viele die richtige Quelle haben und wie viele schlicht falsch sind.

6. SCHRITT 06Benennen Sie einen Wissensverantwortlichen

   Eine Person sorgt dafür, dass die neue Preisliste die alte in der Datenbank am Tag ihres Inkrafttretens ersetzt.

Was KI auf Basis des Unternehmenswissens kostet

Die Kosten hängen davon ab, ob Sie ein fertiges Tool nutzen oder ein eigenes System aufbauen. In beiden Fällen ist die Zeit der Menschen am teuersten. Das Ordnen von Dokumenten und die Tests verschlingen den größten Teil davon, besonders in Unternehmen, in denen dieselbe Preisliste in fünf Versionen durch die Postfächer der Vertriebsmitarbeiter kreist und niemand mehr weiß, welche aktuell ist.

Chcesz policzyć taki rachunek dla własnych dokumentów i sprawdzić system na prawdziwych pytaniach, zanim zapłacisz za całość? Agencja AI Commplace zacznie od jednego obszaru wiedzy i testu na 50 pytaniach.

Die Qualität der Dokumente bestimmt die Qualität der Antworten

RAG bringt keine Ordnung in das Dokumentenchaos. Es macht es nur schneller sichtbar. Drei Versionen derselben Richtlinie, eine undatierte Preisliste, ein Angebot mit abgelaufenem Rabatt: Das System findet sie alle, und das Modell antwortet auf Grundlage der Version, die am besten zur Frage passt, nicht der, die gerade gilt.

Jak zacząć porządki bez paraliżu? Weź 20 dokumentów, o które asystent będzie pytany najczęściej, i przy każdym zapisz trzy rzeczy: datę obowiązywania, właściciela i to, czy krąży gdzieś inna wersja. Jeśli krąży, jedna z nich idzie do archiwum poza bazą wiedzy. Tę pracę da się zrobić bez informatyka, a usuwa sporą część błędów, które później wyglądają jak halucynacje modelu.

Deshalb ist eine RAG-Einführung zur Hälfte ein Projekt zur Ordnung des Wissens. Davon profitiert das ganze Unternehmen, denn eine einzige verlässliche Quelle zu Preisen und Verfahren erleichtert interne Kommunikation także w tych działach, w których nikt z AI nie korzysta. W systemie Commwork®AI stosujemy tę samą zasadę: każda liczba w kokpicie ma źródło, datę, próg i właściciela, a hasła i klucze dostępu zostają po stronie serwera.

Wann sich RAG lohnt und wann der Aufwand nicht lohnt

RAG lohnt sich, wenn Wissen in Dokumenten festgehalten ist, sich häufig ändert und viele Menschen täglich danach suchen. Ein guter Zeitpunkt ist die Phase vor einer Preisänderung, der Einführung eines neuen Angebots oder der Einstellung einer größeren Gruppe neuer Mitarbeiter, denn dann hat die Wissensbasis vom ersten Tag an Nutzer.

Der Aufwand lohnt nicht, wenn es nur wenige Dokumente gibt, die sich selten ändern. Dann genügt es, sie in einen Assistenten einzufügen, wie wir im Artikel darüber zeigen, wie ein KI-Assistent im Unternehmen funktioniert. Beginnen Sie auch nicht, solange das Wissen nur in den Köpfen der Menschen existiert. Zuerst muss es aufgeschrieben werden. Die Auswahl des Tools passend zum Ökosystem des Unternehmens besprechen wir im Vergleich ChatGPT, Gemini oder Copilot für Unternehmen.

Pierwszy kwartał z bazą wiedzy AI, czyli rachunek, próg i lista

Policzmy przykład, czysto poglądowy. Załóżmy 5 GB dokumentów i 3000 pytań miesięcznie w API OpenAI. Przechowywanie to cztery płatne gigabajty po 0,10 USD dziennie, czyli około 12 USD miesięcznie. Wyszukiwania to 3000 razy 2,50 USD za tysiąc, czyli 7,50 USD. Jeśli pytanie razem ze znalezionymi fragmentami ma około 5 tysięcy tokenów, najtańszy model doliczy mniej więcej 3 USD. Razem nieco ponad 20 USD. Wdrożenie RAG w firmie kosztuje więc przede wszystkim czas ludzi, a nie abonament.

Próg decyzji wyznacz na podstawie testu z kroku drugiego. Przykładowa reguła: asystent trafia do wszystkich handlowców dopiero wtedy, gdy na liście 50 prawdziwych pytań odpowiada poprawnie w zdecydowanej większości przypadków, przy każdej odpowiedzi podaje źródło, a pytania bez odpowiedzi w dokumentach uczciwie oddaje człowiekowi. Konkretny poziom ustal z właścicielem obszaru. W cenniku pomyłka kosztuje więcej niż w regulaminie parkingu.

Wykonawcy zadaj kilka prostych pytań. Czy system pokazuje źródło przy każdej odpowiedzi, z nazwą pliku i fragmentem? Ile trwa podmiana dokumentu, gdy wchodzi nowy cennik? Czy uprawnienia działają na poziomie pojedynczych plików? Gdzie leżą dokumenty i czy trafiają do trenowania modeli? Czy zobaczymy wynik testu na naszych pytaniach przed podpisaniem umowy? Jeśli ktoś dużo mówi o „retrieval augmented generation” i o tym, że „baza wektorowa” wszystko załatwi, a na te pytania nie odpowiada zwykłym językiem, szukaj dalej.

Zanim ruszysz, przejdź przez krótką listę.

• Wybraliśmy jeden obszar wiedzy, a nie cały dysk firmy.
• Mamy 30–50 prawdziwych pytań z poprawnymi odpowiedziami.
• Każdy dokument w tym obszarze ma datę obowiązywania i jedną wersję.
• Uprawnienia działają na poziomie plików, a dane płacowe i osobowe są wyłączone.
• Obszar ma właściciela, który podmienia dokumenty w dniu zmiany.
• Asystent podaje źródło i mówi wprost, gdy nie zna odpowiedzi.

Sicherheit, Berechtigungen und personenbezogene Daten

Eine KI-Wissensbasis sieht so viel, wie Sie hineingeben. Landen dort Verträge mit personenbezogenen Daten oder Gehaltsinformationen, kann jeder mit Zugang zum Assistenten danach fragen, und zwar ohne böse Absicht, mit einer ganz normalen Frage wie „Wie viel verdient man als Regionalleiter?“. Legen Sie Berechtigungen daher auf Dokumentebene fest, nicht nur für das gesamte System.

Prüfen Sie außerdem, wo der Anbieter die Dokumente speichert, ob er sie zum Training von Modellen nutzt und ob Sie mit ihm einen Auftragsverarbeitungsvertrag haben. Ausführlicher über die Risiken schreiben wir im Beitrag über Risiken und Ethik der KI. Sie möchten einen Assistenten auf Basis des Unternehmenswissens aufbauen, mit Kontrolle über Quellen und Berechtigungen? Sprechen Sie mit KI-Agentur Commplace®.

Woran RAG-Projekte am häufigsten scheitern

Weiterlesen