19 października 2026Zaktualizowano Fathy Shalaby15 min czytania
Halucynacje AI w specyfikacjach: audyt Claim Trace w 15 minut
Specyfikacje pisane przez AI brzmią, jakby miały źródła, ale często ich nie mają. Claim Trace to 15-minutowy audyt, który oznacza każde twierdzenie jako Ze źródłem, Wywnioskowane, Zakładane lub Zmyślone, zanim inżynierowie lub agent kodujący zaczną na nim budować.
Udostępnij
Ten artykuł został przetłumaczony z języka angielskiego. Przeczytaj oryginał
Halucynacja AI w specyfikacjach to sytuacja, gdy PRD lub specyfikacja napisane przez AI twierdzą o Twoich użytkownikach, rynku lub produkcie coś, czego nie potwierdza żadne źródło, tym samym pewnym tonem co części prawdziwe. Lekarstwem jest krótki audyt, zanim ktokolwiek zacznie budować: prześledź każde twierdzenie i oznacz je jako Ze źródłem, Wywnioskowane, Zakładane lub Zmyślone. Ten audyt nazywamy Claim Trace i zajmuje około 15 minut.
Najważniejsze wnioski
NIST wymienia „konfabulację” jako jedno z 12 ryzyk właściwych generatywnej AI lub przez nią nasilanych i ostrzega, że modele potrafią też tworzyć zmyślone cytaty uzasadniające błędną odpowiedź (NIST, 2024).
Modele zgadują, bo trening i benchmarki nagradzają zgadywanie: z 10 popularnych benchmarków przejrzanych w artykule z 2025 r. 9 nie przyznaje żadnych punktów za „nie wiem” (Kalai i in., 2025).
W specyfikacjach halucynacja rzadko wymyśla funkcję. Wymyśla powód: wzorzec użycia, przyczynę odejść klientów, ranking „najczęściej zgłaszanych” próśb.
Tylko 3% programistów deklaruje duże zaufanie do poprawności wyników AI, a 46% aktywnie im nie ufa (Stack Overflow, 2025). Specyfikacje zasługują na taki sam sceptycyzm jak kod.
Najprzydatniejszym wynikiem audytu nie jest oczyszczona specyfikacja. To rejestr założeń, który staje się Twoim planem discovery.
Czym jest halucynacja w specyfikacji?
Halucynacja w specyfikacji to szczególny rodzaj tego, co NIST nazywa konfabulacją: „confidently stated but erroneous or false content”, czyli treści, które mogą wprowadzić czytelnika w błąd (NIST AI 600-1). W specyfikacji pojawia się w sekcjach Problem, Kontekst i Metryki sukcesu, czyli tam, gdzie powinny stać dowody.
Rzadko wygląda jak zmyślona funkcja. Funkcja jest wiarygodna, a struktura czysta. Zmyślone jest uzasadnienie:
„Administratorzy co tydzień ręcznie eksportują dane.”
„Raportowanie było najczęściej zgłaszaną funkcją wśród utraconych kont.”
„Spodziewamy się zauważalnego wzrostu aktywacji.”
Każde brzmi jak ustalenie. Może żadne nim nie jest. Model przeczytał tysiące PRD, więc tworzy formę dowodu: zachowanie, segment, kierunek zmiany. Jeśli Twoje dane wejściowe były skąpe, uzupełnia luki tym, co statystycznie typowe dla specyfikacji takiej jak Twoja.
Halucynacja wewnętrzna i zewnętrzna w specyfikacji
Badacze dzielą halucynacje na dwa typy (Ji i in., 2022) i oba pojawiają się w specyfikacjach:
Typ
Definicja
Jak wygląda w specyfikacji
Wewnętrzna (intrinsic)
Wynik przeczy źródłu, które dałeś modelowi
Twoje notatki z wywiadów mówią, że 3 z 12 klientów wspomniało o eksporcie; specyfikacja mówi „większość klientów”
Zewnętrzna (extrinsic)
Wyniku nie da się ani potwierdzić, ani obalić na podstawie źródła
Specyfikacja mówi „administratorzy spędzają godziny w arkuszach”, a nic z tego, co dostarczyłeś, nie wspomina o czasie
Halucynacje zewnętrzne są trudniejsze do wychwycenia, bo nie ma z czym ich porównać. Czytelnik musi zauważyć, że zdanie nie ma źródła, a dokładnie to ukrywa płynne pisanie.
Dlaczego modele AI zmyślają twierdzenia w specyfikacjach?
Artykuł z 2025 r. autorstwa badaczy z OpenAI i Georgia Tech dowodzi, że modele halucynują, ponieważ trening i ewaluacja nagradzają zgadywanie bardziej niż przyznanie się do niepewności, podobnie jak uczeń zgadujący w teście wyboru (Kalai i in., 2025). Z 10 szeroko stosowanych benchmarków, które przejrzeli autorzy, 9 ocenia odpowiedzi ściśle jako dobre lub złe i nie daje żadnych punktów za „nie wiem”. Przy takiej punktacji pewne zgadnięcie zawsze bije uczciwą pustkę.
Artykuł wyjaśnia też, dlaczego niektóre fakty są bardziej narażone niż inne. Jeśli 20% pewnego rodzaju faktów (ich przykład to daty urodzin osób) pojawia się w danych treningowych tylko raz, należy oczekiwać, że model bazowy zahalucynuje co najmniej 20% takich faktów. Gdy autorzy poprosili duży otwarty model o datę urodzin i dodali „odpowiedz tylko, jeśli wiesz”, podał trzy różne błędne daty.
Przenieś to na swoją specyfikację. Fakty o Twoich klientach, Twoich utraconych kontach i tygodniowych nawykach Twoich administratorów występują w danych treningowych zero razy. Model może je podać tylko wtedy, gdy mu je dostarczysz. Wszystko, co konkretne o Twoich użytkownikach, a czego nie dostarczyłeś, jest z konstrukcji domysłem przebranym za ustalenie.
NIST dodaje jeszcze jedno ostrzeżenie ważne dla dokumentów produktowych: wygenerowany tekst może zawierać skonfabulowaną logikę lub cytaty uzasadniające odpowiedź, co sprawia, że czytelnicy chętniej jej ufają (NIST, 2024). Specyfikacja, która mówi „jak powiedzieli nam klienci w III kwartale”, przekonuje bardziej niż ta, która po prostu twierdzi, niezależnie od tego, czy ta rozmowa z III kwartału w ogóle się odbyła.
Dlaczego halucynacje AI w specyfikacjach są w 2026 r. droższe?
Trzy rzeczy zmieniły się naraz.
Koszt pisania gwałtownie spadł. Specyfikacja zajmowała PM-owi dzień, a ten dzień wymuszał kontakt z dowodami. Teraz szkic pojawia się w mniej niż minutę, zanim ktokolwiek wróci do badań.
Koszt na dalszych etapach nie spadł. Jeśli inżynier lub agent kodujący AI buduje na podstawie specyfikacji, zmyślona przesłanka zamienia się w działający kod w ciągu godzin. Dowiadujesz się, że przesłanka była zmyślona, dopiero po wdrożeniu funkcji, nie przed.
Nawyki przeglądu się nie dostosowały. Zespoły sprawdzają specyfikacje pod kątem jasności, kompletności i tonu, czyli cech, które modele językowe wytwarzają najlepiej. Prawie nikt nie sprawdza pochodzenia. Programiści nauczyli się tej lekcji już przy kodzie: 66% wskazuje „rozwiązania AI, które są prawie dobre, ale nie do końca” jako największą frustrację, a 45% mówi, że debugowanie kodu wygenerowanego przez AI trwa dłużej (Stack Overflow, 2025). Prawie dobra specyfikacja jest gorsza, bo nic nie przestaje się kompilować.
Dokumenty profesjonalne też nie są odporne. W październiku 2025 r. Deloitte zgodziło się zwrócić ostatnią ratę za raport o wartości 440 000 AU$ dla australijskiego resortu rządowego, po tym jak badacz znalazł zmyślone odniesienia naukowe i wymyślony cytat z wyroku sądu. Poprawiona wersja usunęła ponad tuzin fałszywych odniesień i przypisów i ujawniła, że użyto łańcucha narzędzi opartego na GPT-4o (The Register, 2025). Specyfikacja rzadko podlega tak wnikliwej kontroli z zewnątrz, dlatego sprawdzenie musi odbyć się w zespole.
Rozwiązaniem nie jest „nie używać AI do pisania”. To dodanie kroku przeglądu, który szkic pominął: sprowadzenie każdego twierdzenia do źródła.
Jak przeprowadzić audyt specyfikacji napisanej przez AI? Claim Trace
Przeczytaj specyfikację raz, zdanie po zdaniu. Każde zdanie, które coś twierdzi o użytkownikach, rynku, produkcie lub przyszłości, dostaje dokładnie jedną z czterech etykiet.
Etykieta
Definicja
Test
Co z nią robisz
Ze źródłem
Wskazuje coś, co możesz otworzyć: wywiad, zgłoszenie, wynik zapytania, podpisaną decyzję
Czy kolega, którego tam nie było, może kliknąć i zobaczyć to samo?
Dołącz link w tekście
Wywnioskowane
Rozsądny wniosek z materiału ze źródłem, ale sam wniosek jest nowy
Czy potrafisz wskazać źródła, z których go wywnioskowano?
Dołącz źródła i uwidocznij wnioskowanie („Na podstawie 3 powiązanych rozmów sądzimy, że…”)
Zakładane
Coś, w co zespół wierzy, ale czego nie sprawdził
Czy ktoś w zespole postawiłby na to pieniądze bez sprawdzenia?
Przenieś do rejestru założeń z osobą odpowiedzialną i testem
Zmyślone
Brak źródła, brak łańcucha wnioskowania, nikt nie wie, skąd się wzięło
Czy wstawił to człowiek lub źródło, czy model?
Usuń lub zamień w pytanie
Ze źródłem
„Trzy z ostatnich pięciu rozmów onboardingowych wspominają o eksporcie do arkuszy” jest ze źródłem, jeśli możesz podlinkować te trzy rozmowy. Test jest mechaniczny: kolega, którego nie było w pokoju, może otworzyć link i zobaczyć to samo.
Wywnioskowane
„Administratorzy prawdopodobnie eksportują, bo raportują w górę” jest wywnioskowane z tych rozmów. To w porządku, o ile jest oznaczone, a źródła są dołączone. We wnioskowaniu mieści się osąd produktowy; problemem jest tylko wnioskowanie bez etykiety.
Zakładane
Założenia nie są niczym wstydliwym. Specyfikacje na nich stoją. Błąd zaczyna się wtedy, gdy założenie jest zapisane tym samym głosem co ustalenie, więc czytelnik je łyka zamiast kwestionować.
Zmyślone
To etykieta, która liczy się najbardziej. Zmyślone twierdzenia to wkład modelu w dokument i to je należy usunąć lub zamienić w pytania.
Nie spieraj się o przypadki graniczne między etykietami. Jeśli wahasz się między Wywnioskowane a Zakładane, wybierz Zakładane. Etykieta jest zachętą, by przyjrzeć się bliżej, a nie wyrokiem.
Jak przeprowadzić Claim Trace w 15 minut?
Minuty 0-3: wyodrębnij. Skopiuj każde twierdzenie o faktach na roboczą listę. Pomiń czyste wymagania („eksport musi być w CSV”); to decyzje, nie twierdzenia. Szukaj zdań zaczynających się od „użytkownicy”, „klienci”, „administratorzy”, „obecnie”, „większość”, „ponieważ” lub od liczby.
Minuty 3-8: prześledź. Dla każdego twierdzenia spróbuj znaleźć źródło w mniej niż 60 sekund. Jeśli się nie da, nie jest Ze źródłem. Nie szukaj uzasadnienia po fakcie: szukanie, aż coś luźno pasuje, to sposób, w jaki zmyślone twierdzenia są „prane” na twierdzenia ze źródłem.
Minuty 8-12: działaj zgodnie z etykietą. Ze źródłem dostaje link. Wywnioskowane dostaje linki i widoczne uzasadnienie. Zakładane trafia do rejestru z osobą odpowiedzialną i najtańszym testem. Zmyślone jest usuwane lub przepisane na pytanie.
Minuty 12-15: przeczytaj specyfikację ponownie. Jeśli sekcja Problem rozsypała się po usunięciu zmyślonych twierdzeń, dowiedziałeś się najcenniejszej rzeczy, jaką audyt może Ci powiedzieć: funkcja nie ma jeszcze problemu.
Prosta reguła decyzyjna na koniec kroku 4: jeśli ponad jedna trzecia twierdzeń w sekcji Problem wyszła jako Zmyślona, odeślij specyfikację do discovery zamiast do inżynierii.
Jak wygląda Claim Trace na prawdziwym szkicu?
Weź zmyślony, ale typowy szkic AI dla funkcji eksportu dla administratorów. Sekcja Problem mówi:
Administratorzy co tydzień ręcznie eksportują dane, spędzając godziny w arkuszach. Raportowanie jest najczęstszą prośbą wśród utraconych kont. Natywny eksport zmniejszy odpływ klientów.
Przeprowadź Claim Trace:
Twierdzenie
Etykieta
Działanie
Administratorzy co tydzień ręcznie eksportują dane
Zakładane (jedna rozmowa o tym wspomniała, nic o częstotliwości)
Przenieś do rejestru; sprawdź zapytaniem o użycie
Spędzając godziny w arkuszach
Zmyślone
Usuń
Raportowanie jest najczęstszą prośbą wśród utraconych kont
Zmyślone (nigdzie nie istnieje żaden ranking)
Usuń; zastąp pytaniem
Natywny eksport zmniejszy odpływ klientów
Zakładane
Zachowaj jako hipotezę z metryką i datą
Cztery twierdzenia: dwa usunięte, dwa zdegradowane, zero ze źródłem. Przepisana sekcja Problem jest krótsza i uczciwa:
Jedna rozmowa onboardingowa (podlinkowana) wspomniała o eksporcie danych konta do arkusza. Nie wiemy jeszcze, jak często administratorzy eksportują ani dlaczego. Otwarte pytanie: co mówiły utracone konta, odchodząc? Hipoteza: natywny eksport zmniejsza odpływ w kontach z więcej niż 5 administratorami. Sprawdzimy to, zanim zobowiążemy się do budowy.
Ten dokument nadal może prowadzić do budowy. Ale zespół wie już, na co stawia, a osoba, która go czyta, może się nie zgodzić z założeniem zamiast je łykać.
Co trafia do rejestru założeń?
Rejestr to lista wszystkich twierdzeń Zakładanych i jest Twoim planem discovery. Zapisz cztery pola na wiersz:
REJESTR ZAŁOŻEŃ: [nazwa specyfikacji]
| # | Założenie (tak jak zapisano w specyfikacji) | Odpowiedzialny | Najtańszy test | Decyzja do |
|---|---|---|---|---|
| 1 | Administratorzy co tydzień eksportują dane konta | [imię] | Zapytanie o kliknięcia przycisku eksportu z ostatnich 30 dni | [data] |
| 2 | Natywny eksport zmniejszy odpływ klientów | [imię] | Zapytać 5 utraconych kont, dlaczego odeszły, przed budową | [data] |
| 3 | | | | |
Specyfikacja z krótkim rejestrem z przypisanymi osobami może iść szybko i bezpiecznie. Specyfikacja bez rejestru albo nie ma założeń, co prawie nigdy nie jest prawdą, albo je ukryła. Pełniejszą metodę porządkowania założeń według ważności i dowodów znajdziesz w naszym przewodniku po mapowaniu założeń, albo posortuj je w darmowej mapie założeń.
Jak ograniczyć halucynacje AI w specyfikacjach, zanim zostaną napisane?
Ręczne śledzenie działa, ale polega na dyscyplinie w chwili, gdy najłatwiej ją odpuścić. Lepiej pytać o pochodzenie już podczas powstawania szkicu. Dokumentacja Anthropic wymienia podstawowe techniki (Anthropic):
Pozwól na „nie wiem”. Wyraźnie zezwól modelowi na stwierdzenie, że brakuje mu informacji.
Najpierw cytuj. Przy długich danych wejściowych (Anthropic podaje próg powyżej 20 tys. tokenów) poproś model o wyciągnięcie dosłownych cytatów, zanim cokolwiek napisze.
Cytuj, potem wycofaj. Poproś model, by po napisaniu szkicu znalazł popierający cytat dla każdego twierdzenia i usunął każde, którego nie potrafi poprzeć.
Ogranicz wiedzę. Powiedz mu, by używał tylko dokumentów, które dostarczyłeś, a nie swojej ogólnej wiedzy.
Artykuł Kalaia podsuwa jeszcze jeden pomysł: podać w prompcie cel pewności. Na przykład odpowiadać tylko wtedy, gdy jesteś pewien w ponad 75%, ponieważ błędna odpowiedź kosztuje 2 punkty, a „nie wiem” nic (Kalai i in., 2025). W przypadku specyfikacji oznacza to nagradzanie modelu za napisanie „brak źródła” zamiast płynnego wypełniania luki.
Oto blok promptu, który możesz wkleić pod dowolną prośbą o specyfikację:
Używaj WYŁĄCZNIE załączonych notatek z badań, zgłoszeń i danych.
Przy każdym zdaniu o użytkownikach, klientach, rynku lub oczekiwanych wynikach:
- dodaj [S: źródło], jeśli popiera je konkretny załączony element,
- dodaj [I: źródła], jeśli to Twoje wnioskowanie z załączonych elementów,
- dodaj [A], jeśli to założenie bez źródła.
Nie podawaj liczb, rankingów ani częstotliwości, których nie ma w załącznikach.
Jeśli sekcja nie ma materiału popierającego, napisz „Brak jeszcze dowodów” i wypisz
pytania, na które musielibyśmy odpowiedzieć.
Po napisaniu szkicu sprawdź każde twierdzenie [S] względem załącznika i usuń każde
twierdzenie, którego nie potrafisz poprzeć bezpośrednim cytatem.
Anthropic jasno mówi, że te techniki ograniczają halucynacje, ale ich nie eliminują. Prompt przyspiesza Claim Trace; go nie zastępuje. Jeśli piszesz cały PRD z pomocą AI, nasz przewodnik po PRD z AI opisuje resztę procesu.
Częste błędy przy sprawdzaniu specyfikacji napisanych przez AI
Sprawdzanie dopracowania zamiast pochodzenia. Jasność i ton to to, co modele robią najlepiej. Zapytaj „skąd to się wzięło?”, zanim zapytasz „czy to dobrze napisane?”
Szukanie źródła po fakcie. Jeśli twierdzenie wymaga pięciu minut szukania, by je uzasadnić, było Zakładane lub Zmyślone w chwili pisania.
Traktowanie wymagań jak twierdzeń. „Eksport musi obsługiwać CSV” to decyzja. Nie marnuj 15 minut na śledzenie decyzji.
Audyt tylko sekcji Problem. Metryki sukcesu też halucynują. „15% wzrostu aktywacji” bez punktu odniesienia jest Zmyślone, choćby wyglądało na precyzyjne.
Pozwalanie, by rejestr zgnił. Założenie bez osoby odpowiedzialnej i bez daty to życzenie. Jeśli rejestr nie jest przeglądany przed startem budowy, audyt był teatrem.
Gdzie kończy się Claim Trace?
Metoda mówi, czy twierdzenie ma jakieś źródło. Nie mówi, czy źródło jest dobre. W pełni udokumentowana specyfikacja nadal może opisywać złą rzecz, bo źródła bywają stronnicze, skąpe lub niereprezentatywne. Połącz śledzenie ze sprawdzeniem jakości dowodów: ile niezależnych źródeł, jak świeże i jak blisko prawdziwej decyzji o zakupie lub użyciu. Nasz tekst o tym, co liczy się jako dowód dla każdego ryzyka produktowego, daje do tego szybką skalę.
Obejmuje też tylko część ryzyka. Cztery duże ryzyka Marty’ego Cagana to wartość, użyteczność, wykonalność i rentowność biznesowa, a wartość i rentowność przypisuje on product managerowi (SVPG, 2017). AI uczyniło działający prototyp tanim, co zmniejsza niektóre pytania o wykonalność. Nie ułatwiło poznania wartości ani rentowności, a to właśnie w tych sekcjach skupiają się zmyślone twierdzenia.
Claim Trace jest najłatwiejszy, gdy pochodzenie jest rejestrowane w chwili pisania. To założenie projektowe stojące za Specky. Wywiady, zgłoszenia, opinie i decyzje żyją jako połączone węzły w Product Graph, a gdy AI pisze specyfikację lub wniosek, cytuje w tekście konkretne dowody, z których skorzystała. Szkice trafiają do PM Inbox do przeglądu przez człowieka, zamiast od razu do zapisu, dzięki czemu recenzent widzi, które zdania mają cytaty, a które żadnych. To samo możesz przybliżyć w dowolnym narzędziu za pomocą promptu powyżej; chodzi o to, by „brak źródła” był widoczny, a nie ukryty.
Najczęstsze pytania
Czym jest halucynacja AI w specyfikacjach?
To sytuacja, gdy PRD lub specyfikacja napisane przez AI twierdzą o użytkownikach, rynku lub oczekiwanych wynikach coś, czego nie potwierdza żadne źródło, tym samym pewnym tonem co części ze źródłem. Zwykle pojawia się jako zmyślony powód (wzorzec użycia, ranking, przyczyna odejść) zamiast zmyślonej funkcji, dlatego recenzenci ją przeoczają.
Ile trwa Claim Trace?
Około 15 minut dla typowej specyfikacji na jedną do trzech stron: 3 minuty na wyodrębnienie twierdzeń, 5 na prześledzenie, 4 na działanie według etykiet i 3 na ponowne przeczytanie. Daj sobie 60 sekund na twierdzenie na znalezienie źródła. Dłuższe specyfikacje skalują się mniej więcej z liczbą twierdzeń o faktach, a nie z liczbą stron.
Czy mogę poprosić AI, by samo sprawdziło własną specyfikację pod kątem halucynacji?
Częściowo. Poproszenie modelu, by znalazł popierający cytat dla każdego twierdzenia i wycofał te, których nie potrafi poprzeć, to jedna z technik zalecanych przez Anthropic i wyłapuje wiele halucynacji zewnętrznych. Samo to nie wystarcza, bo model może źle odczytać źródło albo zacytować coś, co faktycznie nie popiera twierdzenia. Linki nadal sprawdza człowiek.
Jaka jest różnica między założeniem a halucynacją?
Założenie to przekonanie, które zespół ma i wie, że go nie sprawdził. Halucynacja to twierdzenie bez pochodzenia, w które nikt w zespole nie wierzył, dopóki model go nie napisał. Oznaczone założenia są użyteczne, bo stają się testami. Halucynacje należy usunąć lub zamienić w pytania.
Czy powinniśmy przestać używać AI do pisania PRD?
Nie. Szkicowanie z AI oszczędza realny czas na strukturze, przypadkach brzegowych i sformułowaniach. Ryzyko leży w sekcjach z dowodami. Dostarcz badania, zgłoszenia i dane jako wejście, poproś model o oznaczanie źródeł i założeń i przeprowadź Claim Trace, zanim specyfikacja trafi do inżynierii lub agenta kodującego.
Co zrobić, jeśli większość sekcji Problem jest zmyślona?
Zatrzymaj budowę i wróć do discovery. Jeśli ponad jedna trzecia twierdzeń o problemie jest zmyślona, funkcja nie ma jeszcze wykazanego problemu. Zamień każde zmyślone twierdzenie w pytanie, wybierz dwa, które najbardziej zmieniłyby decyzję, i przetestuj je najpierw wywiadami, zapytaniem o użycie lub przeglądem zgłoszeń do supportu.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing