16 czerwca 2026Zaktualizowano Fathy Shalaby12 min czytania
Czy 95% pilotaży AI kończy się porażką? Co naprawdę zmierzyło badanie MIT
Liczba 95% nie jest uniwersalnym wskaźnikiem porażek AI. Oto, co zmierzył raport MIT NANDA z 2025 roku, dlaczego kwestionują go krytycy i jak zespoły produktowe mogą oceniać pilotaż AI po realnych wynikach.
Udostępnij
Ten artykuł został przetłumaczony z języka angielskiego. Przeczytaj oryginał
Nie, dowody nie pokazują, że 95% pilotaży AI kończy się porażką. Liczba pochodzi z raportu MIT NANDA z lipca 2025 roku, opartego na 52 wywiadach i 153 odpowiedziach w ankiecie. Mówi on, że 95% organizacji nie odnotowało mierzalnego zwrotu w rachunku zysków i strat z generatywnej AI. Spośród firm, które faktycznie przetestowały narzędzie szyte na miarę, mniej więcej co czwarta dotarła do produkcji, a sam raport nazywa swoje liczby orientacyjnymi.
Najważniejsze wnioski
Raport twierdzi, że „95% of organizations are getting zero return” z 30–40 miliardów dolarów wydatków przedsiębiorstw na GenAI (MIT NANDA, 2025). Opisuje to organizacje i wpływ na rachunek zysków i strat, a nie wynik każdego pilotażu.
W przypadku narzędzi do konkretnych zadań 60% organizacji oceniało jedno, 20% przeprowadziło pilotaż, a 5% dotarło do produkcji. Spośród firm, które przeprowadziły pilotaż, około 25% (5 z 20) odniosło sukces.
„Sukces” oznaczał wyraźny i trwały wpływ na produktywność lub rachunek zysków i strat, mierzony sześć miesięcy po pilotażu. To wysoka poprzeczka, a raport nie definiuje jej precyzyjnie.
Krytycy wskazują małą próbę, brak recenzji naukowej, wewnętrzne niespójności oraz komercyjny interes autorów w agentowej AI, którą polecają (80,000 Hours, 2026).
Użyteczna lekcja dla zespołów produktowych to nie wskaźnik porażek. To ustalenie punktu odniesienia, progu sukcesu i daty decyzji, zanim pilotaż się zacznie.
Skąd pochodzi statystyka „95% pilotaży AI kończy się porażką”?
Liczba pochodzi z raportu The GenAI Divide: State of AI in Business 2025, którego autorami są Aditya Challapally, Chris Pease, Ramesh Raskar i Pradyumna Chari, a data to lipiec 2025. Powstał we współpracy z Project NANDA, grupą z MIT Media Lab, która buduje infrastrukturę dla sieciowych agentów AI (MIT Media Lab). Raport sam określa się jako wstępne ustalenia.
Podana metoda składa się z trzech części i obejmuje okres od stycznia do czerwca 2025:
przegląd ponad 300 publicznie ujawnionych inicjatyw AI
ustrukturyzowane wywiady z przedstawicielami 52 organizacji
odpowiedzi ankietowe 153 wyższych rangą liderów, zebrane na czterech konferencjach branżowych
Statystyka trafiła do mainstreamu 18 sierpnia 2025 roku, kiedy Fortune napisał, że 95% pilotaży generatywnej AI w firmach kończy się porażką (Fortune, 2025). Fortune opisał badanie jako 150 wywiadów z liderami, ankietę wśród 350 pracowników i 300 publicznych wdrożeń. Te liczby są dwa do trzech razy większe niż 52 wywiady i 153 odpowiedzi w samym raporcie.
Co faktycznie zmierzył raport MIT NANDA?
Raport zawiera kilka różnych liczb, które nagłówki zlały w jedną. Rozdzielenie ich zmienia całą historię.
Co wszyscy powtarzają
Co mówi raport
Co to faktycznie opisuje
95% pilotaży AI kończy się porażką
95% organizacji nie uzyskuje żadnego zwrotu
Organizacje, oceniane po mierzalnym wpływie na rachunek zysków i strat
Tylko 5% pilotaży się udaje
5% zintegrowanych pilotaży AI wydobywa miliony wartości
Odsetek wszystkich organizacji, nie pilotaży
Pilotaże nie docierają do produkcji
60% oceniało narzędzia do konkretnych zadań, 20% przeprowadziło pilotaż, 5% dotarło do produkcji
Lejek obejmujący wszystkie badane organizacje
Narzędzia AI nie są używane
Ponad 80% eksplorowało lub testowało narzędzia w stylu ChatGPT; prawie 40% zgłasza wdrożenie
Narzędzia ogólnego przeznaczenia, oceniane osobno
Większość AI zawodzi
Sukces oznacza wyraźny i trwały wpływ na produktywność i/lub rachunek zysków i strat
Zgłaszane przez użytkowników lub kadrę kierowniczą, mierzone 6 miesięcy po pilotażu
Najważniejszy jest lejek. Jeśli 60% organizacji przyjrzało się narzędziu do konkretnego zadania, 20% przeprowadziło pilotaż, a 5% dotarło do produkcji, to 80% niczego nie pilotowało. Spośród 20%, które to zrobiły, 5 z 20 odniosło sukces: wskaźnik przejścia od pilotażu do produkcji wynosi około 25%.
Rob Wiblin, prowadzący 80,000 Hours, zwrócił na to uwagę w kwietniu 2026 roku: liczba opisuje wszystkie badane organizacje, z których większość nigdy nie przeprowadziła pilotażu rozwiązania szytego na miarę (80,000 Hours, 2026). Raport sam zachęca do tej pomyłki, nazywając w jednym fragmencie wynik 95-procentowym wskaźnikiem porażek.
Raport wskazuje też własne ograniczenia. Mówi, że dane o pilotażach są „directionally accurate based on individual interviews rather than official company reporting” (trafne co do kierunku, oparte na pojedynczych wywiadach, a nie oficjalnych raportach firm), że wielkości prób różnią się między kategoriami i że definicje sukcesu mogą być różne w poszczególnych organizacjach.
Jakie są główne zarzuty wobec badania MIT?
Wciąż wracają pięć problemów. Żaden nie dowodzi, że AI w przedsiębiorstwach idzie dobrze, ale razem oznaczają, że liczba 95% nie udźwignie ciężaru, jaki na nią nałożono.
1. Próba jest mała
Nagłówkowe wskaźniki opierają się na 52 wywiadach. 80,000 Hours szacuje, że 5-procentowy wskaźnik sukcesu może odzwierciedlać dwie lub trzy firmy, więc przesunięcie jednego czy dwóch wywiadów zmieniłoby nagłówek. Uwaga metodologiczna samego raportu przyznaje, że próba może nie reprezentować wszystkich segmentów przedsiębiorstw ani regionów oraz że firmy chętne do rozmowy o AI mogą się różnić od tych, które odmówiły.
2. Nie był recenzowany i trudno było go sprawdzić
Raport nie był artykułem naukowym. Gdy tekst Fortune stał się viralem, PDF znajdował się za formularzem zgłoszeniowym, więc dziennikarze powtarzali nagłówek, nie czytając metody (80,000 Hours, 2026).
3. Liczby nie zawsze się ze sobą zgadzają
Dwa przykłady z tego samego dokumentu:
Jedna z kluczowych tez mówi, że 50% budżetów na GenAI trafia do sprzedaży i marketingu; akapit poniżej mówi, że sprzedaż i marketing przejęły około 70% hipotetycznego podziału 100 dolarów.
Podsumowanie mówi, że tylko 2 z 8 głównych sektorów wykazują zmianę strukturalną; późniejszy rozdział mówi, że 7 z 9 sektorów nie wykazuje realnej zmiany strukturalnej.
4. „Sukces” to wysoka i luźno zdefiniowana poprzeczka
Pilotaż liczył się jako udany tylko wtedy, gdy użytkownicy lub kadra kierownicza opisali wyraźny i trwały wpływ na produktywność lub rachunek zysków i strat w ciągu sześciu miesięcy. Narzędzie, które pomagało pojedynczym osobom, ale jeszcze nie ruszyło rachunku zysków i strat, liczyło się jako porażka. Raport sam przyznaje nawet, że okno sześciu miesięcy może być zbyt krótkie, by oceniać złożone systemy przedsiębiorstw.
5. Autorzy polecają to, co budują
Raport konkluduje, że systemy agentowe z pamięcią i uczeniem się zamkną tę lukę, a NANDA to projekt infrastruktury dla agentów. 80,000 Hours argumentuje, że ten konflikt interesów powinien był zostać ujawniony.
Jaki jest więc rzeczywisty odsetek porażek pilotaży AI?
Nie istnieje jeden wiarygodny odsetek porażek pilotaży AI, ponieważ badania inaczej definiują „porażkę”. Model może dawać błędne odpowiedzi, użytkownicy mogą przestać korzystać z funkcji, pilotaż może zostać anulowany, workflow może utknąć przed produkcją albo zespół może nie zmierzyć wpływu finansowego.
Raport RAND z 2024 roku przywołuje szacunki, według których ponad 80% projektów AI kończy się porażką, czyli dwa razy częściej niż projekty IT bez AI (RAND, 2024). RAND przypisuje tę liczbę zewnętrznym szacunkom; jego własne dowody to wywiady z 65 analitykami danych i inżynierami z co najmniej pięcioletnim doświadczeniem.
Sukces zgłaszany przez samych zainteresowanych też jest zawodny. W randomizowanym badaniu METR z udziałem 16 doświadczonych programistów open source, pracujących nad 246 rzeczywistymi zgłoszeniami, narzędzia AI spowolniły ich o 19%. Programiści spodziewali się przyspieszenia o 24%, a po fakcie nadal wierzyli, że AI przyspieszyła ich o 20% (METR, 2025). Liczby sukcesu w NANDA również są samozgłaszane, co jest kolejnym powodem, by zmierzyć własny punkt odniesienia zamiast pożyczać cudzy wskaźnik.
Dlaczego pilotaże AI kończą się porażką według badań?
Nagłówek jest słaby, ale ustalenia jakościowe zgadzają się z innymi badaniami.
Z raportu MIT NANDA:
„Learning gap”. Użytkownicy mówili, że narzędzia nie uczą się z opinii zwrotnych, za każdym razem potrzebują zbyt wiele kontekstu, nie dają się dopasować do ich workflow i zawodzą w przypadkach brzegowych.
Praca prosta kontra złożona. 70% respondentów wolało AI do pisania e-maili, a 65% do podstawowych analiz, ale przy złożonej, wielotygodniowej pracy ludzi wybierano w stosunku 9 do 1.
Shadow AI. Tylko 40% firm powiedziało, że kupiło oficjalną subskrypcję LLM, a jednak pracownicy w ponad 90% badanych firm zgłaszali regularne korzystanie z osobistych narzędzi AI do pracy.
Kupić czy zbudować. Partnerstwa zewnętrzne dochodziły do wdrożenia w około 67% przypadków, wobec około 33% w przypadku rozwiązań budowanych wewnętrznie. Raport zaznacza, że są to dane samozgłaszane, a korelacja nie dowodzi przyczynowości.
Tempo. Najlepsze firmy średniej wielkości zgłaszały około 90 dni od pilotażu do pełnego wdrożenia; duże przedsiębiorstwa potrzebowały dziewięciu miesięcy lub dłużej.
Z 65 wywiadów RAND, pięć głównych przyczyn: zespół źle zrozumiał lub źle przekazał problem; organizacji brakowało danych; gonił za technologią zamiast za problemem użytkownika; brakowało infrastruktury do wdrażania i zarządzania modelami; albo problem był zbyt trudny dla AI (RAND, 2024).
Jak zespół produktowy powinien mierzyć pilotaż AI?
Napisz plan pilotażu, zanim rozszerzysz funkcję AI lub asystenta kodowania na więcej użytkowników. Ta lista kontrolna z siedmiu punktów sprawia, że decyzja opiera się na Twoich dowodach, a nie na cudzej statystyce.
Użytkownik i zadanie. Kto wykonuje jakie zadanie i co jest trudne w obecnym workflow?
Punkt odniesienia. Jak zadanie wygląda dziś? Zapisz czas, ukończenie, błędy, poprawki lub inną istotną miarę.
Oczekiwany wynik. Jaki wynik dla użytkownika lub biznesu ma się poprawić? Ustal próg przed pilotażem.
Granica jakości. Co sprawia, że odpowiedź lub działanie są akceptowalne? Uwzględnij reprezentatywne przykłady, przypadki brzegowe i znane tryby awarii.
Plan awaryjny i odpowiedzialność. Co się dzieje, gdy model jest niepewny lub się myli? Wskaż osobę, która może przejrzeć, nadpisać lub zatrzymać workflow. Poradnik o ograniczonych decyzjach AI pokazuje, jak opisać takie przekazanie.
Koszty i limity operacyjne. Śledź opóźnienie, koszt modelu, nakład na przegląd, eskalacje i obciążenie wsparcia obok wyników zadań.
Data decyzji. Ustalcie, kiedy zespół skaluje, zmienia lub zatrzymuje pilotaż, i kto o tym decyduje.
Framework Google Cloud dla asystentów kodowania AI, współtworzony przez szefa DORA Nathena Harveya, używa podobnej drabiny: adopcja, zaufanie, przyspieszenie i wpływ. Ostrzega przed przeskakiwaniem od adopcji prosto do wpływu na biznes i sugeruje co najmniej 6–8 tygodni, czyli cztery dwutygodniowe sprinty, zanim przyspieszenie może być widoczne (Google Cloud, 2025). Zaakceptowane sugestie to wczesny sygnał, a nie dowód, że klienci zyskali większą wartość. Framework ewaluacji AI dla zespołów produktowych szczegółowo omawia warstwę jakości.
Przykład krok po kroku: kryteria akceptacji generowane przez AI
Ten przykład jest ilustracyjny, a nie wynikiem klienta. Załóżmy, że 6-osobowy zespół pilotuje kryteria akceptacji dla ticketów pisane przez AI. Liczenie szkiców nic by mu nie powiedziało, więc najpierw pisze plan:
Punkt odniesienia (ostatnie 20 ticketów): 3 dni od zgłoszenia do zatwierdzonego briefu; recenzenci wyłapują 4 brakujące przypadki brzegowe na 10 ticketów; 2 z 10 ticketów wymagają poprawek po stronie inżynierii po kick-offie.
Próg: zatwierdzony brief w 2 dni lub krócej, z liczbą poprawek nie większą niż 2 na 10.
Granica jakości: żadnych zmyślonych wymagań; każde kryterium da się wywieść ze zgłoszenia lub powiązanej notatki klienta.
Limit kosztów: czas przeglądu na brief nie może wzrosnąć powyżej 30 minut.
Data decyzji: po 8 tygodniach lub 40 ticketach, w zależności od tego, co nastąpi pierwsze.
Jeśli briefy powstają w jeden dzień, ale poprawek przybywa do 4 na 10, pilotaż nie spełnił najważniejszego wyniku, bez względu na to, jak szybkie były szkice. Jeśli szkice zajmują tyle samo czasu, ale poprawek jest o połowę mniej, skalowanie może być warte rozważenia.
Częste błędy przy czytaniu statystyk o pilotażach AI
Traktowanie ankiety wśród organizacji jak wskaźnika dla Twojego projektu. Twoje szanse zależą od Twojego problemu, danych i workflow, a nie od średniej z 52 firm.
Liczenie aktywności jako sukcesu. Wysłane prompty, wygenerowane szkice i zaakceptowane sugestie pokazują adopcję, a nie wartość.
Zaufanie do tego, jak szybko się to wydaje. Programiści METR czuli się o 20% szybsi, choć pomiar pokazał, że byli o 19% wolniejsi. Mierz czas pracy.
Pominięcie punktu odniesienia. Bez liczb „przed” żadna liczba „po” nic nie znaczy.
Pozostawienie daty końcowej otwartej. Pilotaże bez daty decyzji mają tendencję do ciągnięcia się jako stałe eksperymenty.
Lista kontrolna ma swoje granice. Nie uratuje pilotażu wymierzonego w problem, którego użytkownicy nie mają, a niektóre korzyści, jak lepsze decyzje, ujawniają się dłużej niż osiem tygodni; zapisz je jako pytania otwarte. O tym, kto podejmuje ostateczną decyzję, przeczytasz w czego product managerowie nigdy nie powinni delegować AI i w poradniku o AI product managerze.
Gdzie pasuje Specky
Specky wczytuje rozmowy z klientami, opinie, Slacka, Jirę i analitykę do Product Graph, pisze specyfikacje z cytowanymi w tekście dowodami i sprawdza po premierze, czy zakład się opłacił. W pilotażu AI oznacza to, że punkt odniesienia, próg i data decyzji leżą obok specyfikacji, a nie na slajdzie, którego nikt nie otwiera ponownie. O tym, czy pilotaż się udał, nadal decydują Twoje własne pomiary.
Najczęstsze pytania
Czy to prawda, że 95% pilotaży AI kończy się porażką?
Nie. Raport MIT NANDA mówi, że 95% badanych organizacji nie odnotowało mierzalnego zwrotu w rachunku zysków i strat z generatywnej AI. Jego własny lejek pokazuje, że tylko 20% organizacji przeprowadziło pilotaż narzędzia do konkretnego zadania, a 5% dotarło do produkcji, więc sukces odniosła mniej więcej jedna czwarta firm z pilotażem. Próba to 52 wywiady i 153 odpowiedzi ankietowe.
Kto napisał badanie MIT o pilotażach AI?
Aditya Challapally, Chris Pease, Ramesh Raskar i Pradyumna Chari napisali The GenAI Divide: State of AI in Business 2025, opublikowany w lipcu 2025 roku wraz z Project NANDA z MIT Media Lab. Przedstawia wstępne ustalenia ze stycznia–czerwca 2025 i nie był recenzowany.
Co liczy się jako nieudany pilotaż AI?
Raport MIT liczył pilotaż jako udany tylko wtedy, gdy użytkownicy lub kadra kierownicza opisali wyraźny i trwały wpływ na produktywność lub rachunek zysków i strat w ciągu sześciu miesięcy. Inne definicje obejmują anulowanie, niską adopcję lub szkodliwe błędy. Zdefiniuj porażkę dla własnego pilotażu, zanim się zacznie, z mierzalnym progiem i datą.
Dlaczego większość pilotaży AI kończy się porażką?
Badania wskazują głównie przyczyny produktowe: niejasne problemy, słabe dopasowanie do workflow, brak danych, narzędzia, które nie uczą się z opinii zwrotnych, i brak uzgodnionej miary sukcesu. Wywiady RAND z 65 praktykami wykazały, że najczęstszą przyczyną było źle zrozumiane lub źle przekazane zadanie, które AI miała rozwiązać.
Jak długo powinien trwać pilotaż AI?
Wystarczająco długo, by porównać wynik, na którym Ci zależy, z punktem odniesienia. Google Cloud sugeruje co najmniej 6–8 tygodni, zanim pojawią się zyski produktywności z asystentów kodowania AI. Ustal datę decyzji i wielkość próby, na przykład 8 tygodni lub 40 zadań, zanim pilotaż się rozpocznie.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing