RAG AI: jak działa sztuczna inteligencja na wiedzy firmy i kiedy się opłaca

RAG AI, czyli co to jest w prostych słowach

Duży model językowy (program, który rozumie i pisze tekst) wie dużo o świecie, ale nic nie wie o Twojej firmie, o aktualnym cenniku, warunkach gwarancji czy ustaleniach z konkretnym klientem. Zapytany o nie, albo odmówi, albo zgadnie. To drugie jest gorsze. RAG AI rozwiązuje ten problem prosto: zanim model odpowie, system wyszukuje w dokumentach firmy fragmenty pasujące do pytania i podaje je modelowi jako materiał.

Nazwa pochodzi z pracy naukowej Patricka Lewisa i współautorów opublikowanej w maju 2020 roku. Hasła RAG LLM i LLM RAG znaczą to samo, czyli RAG zbudowany na dużym modelu językowym (LLM, ang. large language model). W firmach mówi się też po prostu o bazie wiedzy AI albo o AI na wiedzy firmy. Z kolei „AI RAG” to ta sama rzecz z odwróconą kolejnością słów. A jeśli wpisujesz w wyszukiwarkę „RAG co to jest”, najkrótsza odpowiedź brzmi: to sposób, w jaki AI najpierw szuka, a dopiero potem pisze.

RAG często jest częścią agenta AI. Agent, który odpowiada na pytania klientów albo szykuje notatkę przed spotkaniem, traktuje bazę wiedzy jako jedno ze swoich narzędzi, podobnie jak wyszukiwarkę czy arkusz. Jak agent korzysta z takich narzędzi i ile to kosztuje, opisujemy w artykule agent AI w marketingu i PR, a pozostałe działy tematu zebraliśmy w przewodniku po sztucznej inteligencji dla firm.

Jak działa RAG pod maską

Szczegóły techniczne możesz zostawić informatykom. Cztery etapy przydaje się jednak rozumieć, bo w każdym z nich może powstać błąd:

1. Przygotowanie dokumentów. Pliki są dzielone na krótsze fragmenty, na przykład akapity albo sekcje umowy.
2. Zapis znaczenia. Każdy fragment zamienia się w ciąg liczb opisujących jego sens (tak zwany embedding) i trafia do bazy wektorowej, która szuka po znaczeniu, a nie po dokładnych słowach. Na tym polega wyszukiwanie semantyczne: pytanie „ile kosztuje dostawa do Czech” znajdzie fragment o „opłatach za transport zagraniczny”, chociaż nie ma w nim ani słowa „dostawa”, ani „Czechy”.
3. Wyszukanie. Gdy ktoś zadaje pytanie, system wybiera kilka najlepiej pasujących fragmentów.
4. Odpowiedź. Model pisze odpowiedź na podstawie tych fragmentów, a w dobrze zbudowanym systemie podaje też, z którego dokumentu pochodzi informacja.

Dla kogo RAG w firmie i w jakiej sytuacji

RAG w firmie ma sens tam, gdzie ludzie codziennie szukają odpowiedzi w dokumentach albo zaczepiają o to samo kolegów przy biurku. Oto typowe sytuacje:

• Sprzedaż. Handlowcy szukają w cennikach i specyfikacjach, a także w warunkach handlowych, a asystent odpowiada, wskazując dokument, więc oferta sprzedażowa powstaje szybciej i bez nieaktualnych cen.
• Obsługa klienta. RAG chatbot, czyli chatbot na dokumentach firmy, odpowiada na pytania o dostawy, zwroty i gwarancje. Kiedy taki chatbot pomaga, a kiedy odstrasza, piszemy w poradniku o AI w obsłudze klienta.
• PR. Dział komunikacji przeszukuje archiwum komunikatów, stanowisk i odpowiedzi dla mediów, żeby mówić jednym głosem. Jak pisać komunikaty, które dobrze się wyszukują i cytują, pokazujemy na danych w artykule informacja prasowa w erze AI.
• HR i komunikacja wewnętrzna. Pracownicy pytają asystenta o regulaminy i benefity albo o procedury, zamiast pisać do działu kadr, co w większej firmie wyraźnie usprawnia przepływ informacji.

RAG, dostrajanie modelu czy długi kontekst, co wybrać

RAG to nie jedyny sposób, żeby „nauczyć” AI wiedzy firmy. Dostrajanie (ang. fine-tuning) zmienia sam model. Długi kontekst polega na wklejeniu całych dokumentów do rozmowy, co działa przy kilku plikach, ale przy setkach dokumentów, które co miesiąc się zmieniają, szybko robi się drogie, wolne i trudne do powtórzenia. Każda metoda pasuje do innej sytuacji.

Czy RAG usuwa halucynacje?

Nie. Zmniejsza je, ale nie usuwa. Badacze ze Stanfordu sprawdzili w 2024 roku narzędzia prawnicze, których twórcy obiecywali odpowiedzi „bez halucynacji” dzięki RAG, i okazało się, że badane narzędzia myliły się lub zmyślały w 17–33% przypadków, czyli rzadziej niż ogólne czaty, ale wciąż zbyt często jak na zastosowania, w których liczy się każde słowo.

Skąd te błędy? System może wyszukać nie ten fragment. Dokument może być nieaktualny, a model może źle połączyć informacje z dwóch miejsc. Przyczyny i sposoby ograniczania zmyśleń rozkładamy na części w osobnym artykule o halucynacjach AI.

Praktyczny wniosek dla testu: licz osobno odpowiedzi błędne i odpowiedzi w rodzaju „nie znalazłem tego w dokumentach”. Te drugie są bezpieczne. Pierwsze kosztują, bo ktoś na ich podstawie wyśle klientowi złą cenę albo zły termin.

Jak wdrożyć RAG w firmie krok po kroku

Ta kolejność sprawdza się i przy gotowych narzędziach, i przy rozwiązaniu budowanym od zera. Jeśli RAG ma być częścią agenta, przeczytaj też poradnik o tym, jak zbudować własnego agenta AI.

1. KROK 01Wybierz jeden obszar wiedzy

   Na przykład warunki handlowe i cenniki. Nie „cały dysk firmy”.

2. KROK 02Zbierz prawdziwe pytania

   Spisz 30–50 pytań, które ludzie naprawdę zadają, razem z poprawnymi odpowiedziami. To będzie Twój test.

3. KROK 03Uporządkuj dokumenty

   Usuń stare wersje, oznacz daty obowiązywania i rozbij wielkie pliki na logiczne części.

4. KROK 04Ustal uprawnienia

   Kto może pytać o co? Asystent handlowca nie powinien widzieć danych płacowych.

5. KROK 05Zbuduj i przetestuj

   Przepuść przez system całą listę pytań i policz, ile odpowiedzi jest poprawnych, ile ma właściwe źródło, a ile jest po prostu błędnych.

6. KROK 06Wyznacz właściciela wiedzy

   Jedna osoba pilnuje, żeby nowy cennik zastępował stary w bazie w dniu wejścia w życie.

Ile kosztuje AI na wiedzy firmy

Koszt zależy od tego, czy korzystasz z gotowego narzędzia, czy budujesz własny system. W obu przypadkach najdroższy jest czas ludzi. Porządkowanie dokumentów i testy zjadają go najwięcej, zwłaszcza w firmach, w których ten sam cennik krąży w pięciu wersjach po skrzynkach handlowców i nikt nie pamięta, która jest aktualna.

Chcesz policzyć taki rachunek dla własnych dokumentów i sprawdzić system na prawdziwych pytaniach, zanim zapłacisz za całość? Agencja AI Commplace zacznie od jednego obszaru wiedzy i testu na 50 pytaniach.

Jakość dokumentów decyduje o jakości odpowiedzi

RAG nie naprawi bałaganu w dokumentach. Pokaże go szybciej. Trzy wersje tego samego regulaminu, cennik bez daty, oferta z nieaktualnym rabatem: system znajdzie je wszystkie, a model odpowie na podstawie tej wersji, która najlepiej pasuje do pytania, a nie tej, która akurat obowiązuje.

Jak zacząć porządki bez paraliżu? Weź 20 dokumentów, o które asystent będzie pytany najczęściej, i przy każdym zapisz trzy rzeczy: datę obowiązywania, właściciela i to, czy krąży gdzieś inna wersja. Jeśli krąży, jedna z nich idzie do archiwum poza bazą wiedzy. Tę pracę da się zrobić bez informatyka, a usuwa sporą część błędów, które później wyglądają jak halucynacje modelu.

Dlatego wdrożenie RAG to w połowie projekt porządkowania wiedzy. Zyskuje na tym cała firma, bo jedno źródło prawdy o cenach i procedurach ułatwia komunikację wewnętrzną także w tych działach, w których nikt z AI nie korzysta. W systemie Commwork®AI stosujemy tę samą zasadę: każda liczba w kokpicie ma źródło, datę, próg i właściciela, a hasła i klucze dostępu zostają po stronie serwera.

Kiedy RAG się opłaca, a kiedy szkoda zachodu

RAG się opłaca, gdy wiedza jest zapisana w dokumentach, często się zmienia i wiele osób codziennie jej szuka. Dobry moment to okres przed zmianą cennika, wprowadzeniem nowej oferty albo przyjęciem większej grupy pracowników, bo wtedy baza wiedzy od pierwszego dnia ma komu służyć.

Szkoda zachodu, gdy dokumentów jest kilka i rzadko się zmieniają. Wystarczy wkleić je do asystenta, co pokazujemy w artykule o tym, jak działa asystent AI w firmie. Nie zaczynaj też, gdy wiedza istnieje tylko w głowach ludzi. Najpierw trzeba ją spisać. Wybór narzędzia pod ekosystem firmy omawiamy w porównaniu ChatGPT, Gemini czy Copilot dla firmy.

Pierwszy kwartał z bazą wiedzy AI, czyli rachunek, próg i lista

Policzmy przykład, czysto poglądowy. Załóżmy 5 GB dokumentów i 3000 pytań miesięcznie w API OpenAI. Przechowywanie to cztery płatne gigabajty po 0,10 USD dziennie, czyli około 12 USD miesięcznie. Wyszukiwania to 3000 razy 2,50 USD za tysiąc, czyli 7,50 USD. Jeśli pytanie razem ze znalezionymi fragmentami ma około 5 tysięcy tokenów, najtańszy model doliczy mniej więcej 3 USD. Razem nieco ponad 20 USD. Wdrożenie RAG w firmie kosztuje więc przede wszystkim czas ludzi, a nie abonament.

Próg decyzji wyznacz na podstawie testu z kroku drugiego. Przykładowa reguła: asystent trafia do wszystkich handlowców dopiero wtedy, gdy na liście 50 prawdziwych pytań odpowiada poprawnie w zdecydowanej większości przypadków, przy każdej odpowiedzi podaje źródło, a pytania bez odpowiedzi w dokumentach uczciwie oddaje człowiekowi. Konkretny poziom ustal z właścicielem obszaru. W cenniku pomyłka kosztuje więcej niż w regulaminie parkingu.

Wykonawcy zadaj kilka prostych pytań. Czy system pokazuje źródło przy każdej odpowiedzi, z nazwą pliku i fragmentem? Ile trwa podmiana dokumentu, gdy wchodzi nowy cennik? Czy uprawnienia działają na poziomie pojedynczych plików? Gdzie leżą dokumenty i czy trafiają do trenowania modeli? Czy zobaczymy wynik testu na naszych pytaniach przed podpisaniem umowy? Jeśli ktoś dużo mówi o „retrieval augmented generation” i o tym, że „baza wektorowa” wszystko załatwi, a na te pytania nie odpowiada zwykłym językiem, szukaj dalej.

Zanim ruszysz, przejdź przez krótką listę.

• Wybraliśmy jeden obszar wiedzy, a nie cały dysk firmy.
• Mamy 30–50 prawdziwych pytań z poprawnymi odpowiedziami.
• Każdy dokument w tym obszarze ma datę obowiązywania i jedną wersję.
• Uprawnienia działają na poziomie plików, a dane płacowe i osobowe są wyłączone.
• Obszar ma właściciela, który podmienia dokumenty w dniu zmiany.
• Asystent podaje źródło i mówi wprost, gdy nie zna odpowiedzi.

Bezpieczeństwo, uprawnienia i dane osobowe

Baza wiedzy AI widzi tyle, ile do niej wrzucisz. Jeśli trafią tam umowy z danymi osobowymi albo informacje o wynagrodzeniach, każdy, kto ma dostęp do asystenta, może o nie zapytać, i to bez złej woli, zwykłym pytaniem w rodzaju „ile zarabia się na stanowisku kierownika regionu”. Uprawnienia ustawiaj więc na poziomie dokumentów. Nie tylko całego systemu.

Sprawdź też, gdzie dostawca przechowuje dokumenty, czy używa ich do trenowania modeli i czy masz z nim umowę powierzenia danych. Szerzej o ryzykach piszemy w tekście o zagrożeniach i etyce AI. Chcesz zbudować asystenta na wiedzy firmy z kontrolą źródeł i uprawnień? Porozmawiaj z agencją AI Commplace®.

Gdzie projekty RAG najczęściej się sypią

Czytaj dalej