RAG AI: jak działa sztuczna inteligencja na wiedzy firmy i kiedy się opłaca

RAG, czyli co to jest w prostych słowach

Duży model językowy (program, który rozumie i pisze tekst) wie dużo o świecie, ale nic nie wie o Twojej firmie, o aktualnym cenniku, warunkach gwarancji czy ustaleniach z konkretnym klientem. Zapytany o nie, albo odmówi, albo zgadnie. To drugie jest gorsze. RAG AI rozwiązuje ten problem prosto: zanim model odpowie, system wyszukuje w dokumentach firmy fragmenty pasujące do pytania i podaje je modelowi jako materiał.

Nazwa pochodzi z pracy naukowej Patricka Lewisa i współautorów opublikowanej w maju 2020 roku. Hasła RAG LLM i LLM RAG znaczą to samo, czyli RAG zbudowany na dużym modelu językowym (LLM, ang. large language model). W firmach mówi się też po prostu o bazie wiedzy AI albo o AI na wiedzy firmy.

RAG często jest częścią agenta AI. Agent, który odpowiada na pytania klientów albo szykuje notatkę przed spotkaniem, traktuje bazę wiedzy jako jedno ze swoich narzędzi, podobnie jak wyszukiwarkę czy arkusz. Jak agent korzysta z takich narzędzi i ile to kosztuje, opisujemy w artykule agent AI w marketingu i PR, a pozostałe działy tematu zebraliśmy w przewodniku po sztucznej inteligencji dla firm.

Jak działa RAG pod maską

Szczegóły techniczne możesz zostawić informatykom. Cztery etapy przydaje się jednak rozumieć, bo w każdym z nich może powstać błąd:

1. Przygotowanie dokumentów. Pliki są dzielone na krótsze fragmenty, na przykład akapity albo sekcje umowy.
2. Zapis znaczenia. Każdy fragment zamienia się w ciąg liczb opisujących jego sens (tak zwany embedding) i trafia do bazy wektorowej, która szuka po znaczeniu, a nie po dokładnych słowach. Na tym polega wyszukiwanie semantyczne: pytanie „ile kosztuje dostawa do Czech” znajdzie fragment o „opłatach za transport zagraniczny”, chociaż nie ma w nim ani słowa „dostawa”, ani „Czechy”.
3. Wyszukanie. Gdy ktoś zadaje pytanie, system wybiera kilka najlepiej pasujących fragmentów.
4. Odpowiedź. Model pisze odpowiedź na podstawie tych fragmentów, a w dobrze zbudowanym systemie podaje też, z którego dokumentu pochodzi informacja.

Dla kogo RAG w firmie i w jakiej sytuacji

RAG w firmie ma sens tam, gdzie ludzie codziennie szukają odpowiedzi w dokumentach albo zaczepiają o to samo kolegów przy biurku. Oto typowe sytuacje:

• Sprzedaż. Handlowcy szukają w cennikach i specyfikacjach, a także w warunkach handlowych, a asystent odpowiada, wskazując dokument.
• Obsługa klienta. RAG chatbot, czyli chatbot na dokumentach firmy, odpowiada na pytania o dostawy, zwroty i gwarancje. Kiedy taki chatbot pomaga, a kiedy odstrasza, piszemy w poradniku o AI w obsłudze klienta.
• PR. Dział komunikacji przeszukuje archiwum komunikatów, stanowisk i odpowiedzi dla mediów, żeby mówić jednym głosem. Jak pisać komunikaty, które dobrze się wyszukują i cytują, pokazujemy na danych w artykule informacja prasowa w erze AI.
• HR i komunikacja wewnętrzna. Pracownicy pytają asystenta o regulaminy i benefity albo o procedury, zamiast pisać do działu kadr.

RAG, dostrajanie modelu czy długi kontekst, co wybrać

RAG to nie jedyny sposób, żeby „nauczyć” AI wiedzy firmy. Dostrajanie (ang. fine-tuning) zmienia sam model. Długi kontekst polega na wklejeniu całych dokumentów do rozmowy, co działa przy kilku plikach, ale przy setkach dokumentów, które co miesiąc się zmieniają, szybko robi się drogie, wolne i trudne do powtórzenia. Każda metoda pasuje do innej sytuacji.

Czy RAG usuwa halucynacje?

Nie. Zmniejsza je, ale nie usuwa. Badacze ze Stanfordu sprawdzili w 2024 roku narzędzia prawnicze, których twórcy obiecywali odpowiedzi „bez halucynacji” dzięki RAG, i okazało się, że badane narzędzia myliły się lub zmyślały w 17–33% przypadków, czyli rzadziej niż ogólne czaty, ale wciąż zbyt często jak na zastosowania, w których liczy się każde słowo.

Skąd te błędy? System może wyszukać nie ten fragment. Dokument może być nieaktualny, a model może źle połączyć informacje z dwóch miejsc. Przyczyny i sposoby ograniczania zmyśleń rozkładamy na części w osobnym artykule o halucynacjach AI.

Jak wdrożyć RAG w firmie krok po kroku

Ta kolejność sprawdza się i przy gotowych narzędziach, i przy rozwiązaniu budowanym od zera. Jeśli RAG ma być częścią agenta, przeczytaj też poradnik o tym, jak zbudować własnego agenta AI.

1. KROK 01Wybierz jeden obszar wiedzy

   Na przykład warunki handlowe i cenniki. Nie „cały dysk firmy”.

2. KROK 02Zbierz prawdziwe pytania

   Spisz 30–50 pytań, które ludzie naprawdę zadają, razem z poprawnymi odpowiedziami. To będzie Twój test.

3. KROK 03Uporządkuj dokumenty

   Usuń stare wersje, oznacz daty obowiązywania i rozbij wielkie pliki na logiczne części.

4. KROK 04Ustal uprawnienia

   Kto może pytać o co? Asystent handlowca nie powinien widzieć danych płacowych.

5. KROK 05Zbuduj i przetestuj

   Przepuść przez system całą listę pytań i policz, ile odpowiedzi jest poprawnych, ile ma właściwe źródło, a ile jest po prostu błędnych.

6. KROK 06Wyznacz właściciela wiedzy

   Jedna osoba pilnuje, żeby nowy cennik zastępował stary w bazie w dniu wejścia w życie.

Ile kosztuje AI na wiedzy firmy

Koszt zależy od tego, czy korzystasz z gotowego narzędzia, czy budujesz własny system. W obu przypadkach najdroższy jest czas ludzi. Porządkowanie dokumentów i testy zjadają go najwięcej, zwłaszcza w firmach, w których ten sam cennik krąży w pięciu wersjach po skrzynkach handlowców i nikt nie pamięta, która jest aktualna.

Jakość dokumentów decyduje o jakości odpowiedzi

RAG nie naprawi bałaganu w dokumentach. Pokaże go szybciej. Trzy wersje tego samego regulaminu, cennik bez daty, oferta z nieaktualnym rabatem: system znajdzie je wszystkie, a model odpowie na podstawie tej wersji, która najlepiej pasuje do pytania, a nie tej, która akurat obowiązuje.

Dlatego wdrożenie RAG to w połowie projekt porządkowania wiedzy. Zyskuje na tym cała firma, bo jedno źródło prawdy o cenach i procedurach ułatwia komunikację wewnętrzną także w tych działach, w których nikt z AI nie korzysta.

Kiedy RAG się opłaca, a kiedy szkoda zachodu

RAG się opłaca, gdy wiedza jest zapisana w dokumentach, często się zmienia i wiele osób codziennie jej szuka. Dobry moment to okres przed zmianą cennika, wprowadzeniem nowej oferty albo przyjęciem większej grupy pracowników, bo wtedy baza wiedzy od pierwszego dnia ma komu służyć.

Szkoda zachodu, gdy dokumentów jest kilka i rzadko się zmieniają. Wystarczy wkleić je do asystenta, co pokazujemy w artykule o tym, jak działa asystent AI w firmie. Nie zaczynaj też, gdy wiedza istnieje tylko w głowach ludzi. Najpierw trzeba ją spisać. Wybór narzędzia pod ekosystem firmy omawiamy w porównaniu ChatGPT, Gemini czy Copilot dla firmy.

Bezpieczeństwo, uprawnienia i dane osobowe

Baza wiedzy AI widzi tyle, ile do niej wrzucisz. Jeśli trafią tam umowy z danymi osobowymi albo informacje o wynagrodzeniach, każdy, kto ma dostęp do asystenta, może o nie zapytać, i to bez złej woli, zwykłym pytaniem w rodzaju „ile zarabia się na stanowisku kierownika regionu”. Uprawnienia ustawiaj więc na poziomie dokumentów. Nie tylko całego systemu.

Sprawdź też, gdzie dostawca przechowuje dokumenty, czy używa ich do trenowania modeli i czy masz z nim umowę powierzenia danych. Szerzej o ryzykach piszemy w tekście o zagrożeniach i etyce AI. Chcesz zbudować asystenta na wiedzy firmy z kontrolą źródeł i uprawnień? Porozmawiaj z agencją AI Commplace®.

Gdzie projekty RAG najczęściej się sypią

Czytaj dalej