Najkrótsza wersja
Halucynacja to odpowiedź modelu językowego, która jest sformułowana pewnie i składnie, ale nie ma pokrycia w faktach ani w źródłach — zmyślony przepis, nieistniejący paragraf, wymyślona cena. Bierze się stąd, że model przewiduje najbardziej prawdopodobny tekst, a nie sprawdza prawdziwości twierdzeń. W biznesie ogranicza się ją architekturą wdrożenia: odpowiadaniem ze źródeł, progiem pewności, walidacją krytycznych danych i człowiekiem przy decyzjach.
Skąd się biorą halucynacje
Model językowy nie ma w środku bazy faktów, którą odpytuje. Ma statystyczny obraz języka: wie, jakie słowa zwykle następują po jakich. Gdy pytasz o coś, co było dobrze reprezentowane w danych treningowych, ten mechanizm daje trafne odpowiedzi. Gdy pytasz o coś rzadkiego, świeżego albo specyficznego dla Twojej firmy — model nadal wygeneruje płynny tekst, bo do tego został zbudowany. Brak wiedzy nie zatrzymuje generowania; zatrzymać je może dopiero projekt systemu wokół modelu.
Dlaczego brzmią tak wiarygodnie
To najbardziej podstępna cecha zjawiska: halucynacja nie wygląda jak błąd. Ma poprawną gramatykę, fachowe słownictwo, konkretne liczby i ton eksperta — bo model nauczył się formy wiarygodnej wypowiedzi niezależnie od jej treści. Człowiek instynktownie ufa pewnemu tonowi, więc zmyślona odpowiedź potrafi przejść bez mrugnięcia tam, gdzie niepewne „chyba…” zapaliłoby lampkę. Przy ocenie odpowiedzi AI pewność tonu nie jest żadnym sygnałem jakości.
Jak się to ogranicza w praktyce
W dojrzałych wdrożeniach nie „walczy się” z halucynacją jednym trikiem — składa się kilka warstw:
- Odpowiadanie ze źródeł. Technika RAG każe modelowi opierać odpowiedź na wyszukanych fragmentach zatwierdzonych materiałów, a nie na pamięci treningowej.
- Próg pewności i „nie wiem”. Jeśli źródła nie pokrywają pytania, system mówi to wprost i przekazuje sprawę człowiekowi. Zaprojektowane „nie wiem” jest tańsze niż jedna zmyślona obietnica.
- Walidacja krytycznych danych. Kwoty, daty, numery — wszystko, co da się sprawdzić względem systemów firmy, sprawdza automat, zanim odpowiedź wyjdzie na zewnątrz.
- Bramka człowieka przy decyzjach. Automat przygotowuje, człowiek zatwierdza — wszędzie tam, gdzie odpowiedź tworzy zobowiązanie: oferta, interpretacja, reklamacja.
- Jawny log. Każda odpowiedź i jej podstawa są zapisane, więc błąd — gdy się zdarzy — jest do znalezienia i naprawienia, a nie do zaprzeczania.
Czego wymagać od dostawcy wdrożenia
Zamiast pytać „czy Wasz bot halucynuje” (każdy uczciwy dostawca odpowie: rzadko, ale tak), zapytaj co się dzieje, kiedy to nastąpi:
- Skąd system bierze odpowiedzi i co robi przy braku pokrycia?
- Które dane są walidowane automatycznie, a które wymagają człowieka?
- Gdzie jest log rozmów i kto ma do niego dostęp?
- Jak zgłasza się błędną odpowiedź i jak szybko trafia ona do poprawki bazy?
Dostawca, który ma na to konkretne odpowiedzi, projektował system na rzeczywistość. Dostawca, który mówi „nasz model nie ma tego problemu”, projektował go na prezentację.