9 listopada 2026Zaktualizowano Fathy Shalaby12 min czytania
Product analytics check: sprawdź założenie na danych, które już masz
Być może masz już odpowiedź. Przejrzyj dane, które zbierasz, zanim zaplanujesz nowy test, i ustal, co się liczy, zanim na nie spojrzysz.
Udostępnij
Ten artykuł został przetłumaczony z języka angielskiego. Przeczytaj oryginał
Product analytics check wykorzystuje zachowania, które Twój produkt już rejestruje, żeby potwierdzić lub podważyć jedno założenie, zanim zlecisz nowy test. Zapisujesz liczbę, której się spodziewasz, pobierasz prawdziwą z narzędzia takiego jak Amplitude, PostHog czy Mixpanel i porównujesz. Zajmuje to mniej więcej jeden dzień, nic nie kosztuje i daje dowód orientacyjny: co się stało, a nie dlaczego.
Najważniejsze wnioski
Zapisz metrykę, grupę, okres i sygnał zaliczenia, zanim otworzysz dashboard.
Dane z przeszłości pokazują, że rzeczy zdarzają się razem, a nie co je powoduje. Zespół eksperymentów Microsoftu nazwał analizę post hoc „w większości ograniczoną do identyfikowania korelacji” (Kohavi et al., 2009).
„Retencja w dniu 30” może oznaczać dwie różne liczby. Amplitude i Mixpanel rozróżniają powrót dokładnie w dniu 30 od powrotu w dniu 30 lub później.
Jeśli sprawdzisz 20 segmentów przy 5% fałszywych alarmów, szansa, że przynajmniej jeden wygląda na zwycięzcę czystym przypadkiem, wynosi około 64%.
Przy 100 użytkownikach na grupę różnica między dwiema retencjami musi wynosić około 14 punktów, żebyś mógł odróżnić ją od szumu.
Czym jest product analytics check?
To najtańszy test w serii: bez rekrutacji i bez budowania. Bierzesz założenie stojące za zakładem produktowym, na przykład „osoby, które zapraszają kolegę z zespołu w pierwszym tygodniu, zostają dłużej”, przepisujesz je na liczbę i sprawdzasz.
Biblioteka eksperymentów Strategyzer do książki Testing Business Ideas zalicza tego rodzaju pracę do eksperymentów typu discovery o nazwie „analiza danych”. Nie ma tam karty o nazwie product analytics check. Jej najbliższy krewny, analiza ruchu na stronie, jest oceniany na 2 z 5 pod względem kosztu i 2 z 5 pod względem siły dowodu (plakat Strategyzer). Tani i szybki, ale słabszy niż celowa zmiana czegoś.
Odpowiada na pytania o adopcję, częstotliwość, kolejność, retencję i segmenty. Jeśli zachowanie nie jest rejestrowane, zacznij od analizy ruchu na stronie albo dodaj zdarzenie i poczekaj.
Kiedy używać product analytics check, a kiedy nie?
Użyj go najpierw, zawsze gdy założenie dotyczy czegoś, co Twój produkt już rejestruje. Zajmuje dzień, nic nie kosztuje i często rozstrzyga pytanie albo pokazuje, jakie pytanie warto zadać.
Nie używaj go w produktach z bardzo małą liczbą użytkowników, gdzie małe liczby mocno się wahają. Nie używaj go do rzeczy, których nie śledzisz, i nie zakładaj, że zdarzenie znaczy to, co jego nazwa, dopóki tego nie sprawdzisz. A jeśli musisz wykazać, że zmiana spowodowała wynik, potrzebujesz testu A/B, bo dane z przeszłości mogą pokazać tylko, że dwie rzeczy wystąpiły razem.
Jakie ryzyko testuje i jak mocny jest dowód?
Testuje atrakcyjność (desirability): czy obecni użytkownicy zachowują się tak, jak zakładałeś? Dowód jest orientacyjny. To prawdziwe zachowanie, ale patrzysz wstecz, nic nie było kontrolowane i widzisz tylko to, co zostało zarejestrowane.
To i tak lepsze niż przeczucie. Kohavi i współpracownicy podali, że mierzone obiektywnie większość pomysłów nie poprawia metryk, które miały poprawić (Kohavi et al., 2009). Jednodniowa kontrola, która zabija słabe przekonanie przed miesiącem budowania, to dobra wymiana, zwłaszcza gdy metryką jest Twoja north star metric. Nasz przewodnik po wyborze eksperymentu produktowego wyjaśnia, dlaczego to często najlepszy pierwszy krok.
Szablon product analytics check (skopiuj i używaj)
Otwórz obraz w pełnym rozmiarze albo skopiuj wersję tekstową poniżej.
Kogo rekrutować i ilu osób
Nikogo nowego. Użyj istniejących danych, zwykle z co najmniej 30 dni. Zdefiniuj grupę precyzyjnie, na przykład „konta założone od marca, które ukończyły konfigurację”.
Plan krok po kroku
Zapisz założenie jako liczbę, którą możesz sprawdzić.
Nazwij metrykę, grupę i okres.
Ustal sygnał zaliczenia.
Sprawdź, czy zdarzenie uruchamia się wtedy, kiedy myślisz.
Pobierz liczbę i podziel ją według jednej lub dwóch grup.
Porównaj ją z sygnałem zaliczenia.
Zapisz jedno możliwe alternatywne wyjaśnienie.
Pytania, na które trzeba odpowiedzieć
„Ilu z użytkowników, którzy mogli to zrobić, rzeczywiście to zrobiło?”
„Jak często to robią?”
„Co wcześniej robili inaczej ci, którzy to zrobili?”
„Czy to dotyczy zarówno nowych, jak i starych użytkowników?”
„Co jeszcze zmieniło się w tym okresie?”
Co mierzyć
Jedną metrykę, którą nazwałeś, wielkość grupy i tę samą liczbę podzieloną według sensownego segmentu.
Sygnał zaliczenia do ustalenia przed startem
Punkt wyjścia Specky: liczba, którą nazwałeś, zmienia się w oczekiwanym kierunku o wartość, którą ustaliłeś. To punkt wyjścia, a nie benchmark. Zapisz zarówno kierunek, jak i wartość, zanim otworzysz dashboard.
Dziennik wyników
Metryka
Grupa
Okres
Oczekiwane
Rzeczywiste
Wielkość grupy
Inne wyjaśnienia
Jak zdefiniować metrykę, żeby liczba coś znaczyła?
Krok 2 to miejsce, w którym większość kontroli idzie źle. „Retencja” brzmi jak jedna liczba, ale narzędzia analityczne oferują ich kilka:
Pytanie, które zadajesz
Amplitude
Mixpanel
Czy wrócili dokładnie w dniu 30?
Return On (dawniej N-Day)
„On”
W dniu 30 lub w dowolnym momencie później?
Return On or After (dawniej Unbounded)
„On or After”
W zakresie, na przykład dni 28-35?
Własne przedziały, do 100 na wykres
Własne przedziały
Co uruchamia zegar?
Zdarzenie startowe (data wejścia do kohorty)
Pierwsze „A event” użytkownika
Źródła: Amplitude, Mixpanel. PostHog buduje ten sam wykres ze zdarzenia startowego i zdarzenia powrotu (PostHog).
Trzy szczegóły zmieniają odpowiedź:
„On or after” jest zawsze co najmniej tak wysokie jak „on”. Dolicza wszystkich, którzy wracają później. Nigdy nie porównuj „on” jednego zespołu z „on or after” innego.
Dni kroczące a dni kalendarzowe. W trybie rolling Mixpanela dzień 1 oznacza od 24 do 48 godzin po pierwszym zdarzeniu. W trybie kalendarzowym oznacza następny dzień kalendarzowy. Rejestracja o 23:50 może być zatrzymana w dniu 1 w jednym trybie, a w drugim nie.
Pierwszy raz a cykliczna. Retencja first-time w PostHogu wlicza użytkownika do kohorty tylko za pierwszym razem, gdy wykonał zdarzenie startowe; cykliczna liczy każdy okres, w którym je wykonał. Do pytania „czy nowi użytkownicy zostają?” użyj first-time.
Mixpanel pomija niezakończone okresy w średniej retencji. Jeśli ostatni tydzień wygląda jak załamanie, sprawdź, czy już się skończył.
Jak sprawdzić, że zdarzenie znaczy to, co jego nazwa?
Krok 4 zajmuje około 30 minut i oszczędza dni:
Wykonaj akcję na koncie testowym i patrz, jak przychodzi zdarzenie. Potem zrób coś podobnego, co nie powinno go uruchomić.
Porównaj tydzień liczników zdarzenia z własną bazą danych. Różnica większa niż kilka procent wymaga wyjaśnienia.
Znajdź dzień, w którym zdarzenie wysłano po raz pierwszy. Wcześniejsi użytkownicy będą wyglądać, jakby nigdy go nie wykonali.
Odfiltruj swój zespół, konta testowe i boty.
Ilu użytkowników potrzebujesz do product analytics check?
Nie rekrutujesz nikogo, ale wielkość grupy nadal decyduje, czy liczba coś znaczy. Tabela korzysta z zwykłego przybliżenia 95% dla wartości bliskiej 50%, czyli najgorszego przypadku:
Użytkownicy na grupę
Margines dla jednej wartości
Margines dla różnicy między dwiema grupami
30
± 18 punktów
± 25 punktów
100
± 10 punktów
± 14 punktów
400
± 5 punktów
± 7 punktów
1000
± 3 punkty
± 4 punkty
Ustaw więc sygnał zaliczenia powyżej marginesu: przy 100 użytkownikach na grupę „o 5 punktów lepiej” nie da się odróżnić od szumu. Poniżej około 100 na grupę traktuj kontrolę jako szkic, który podpowiada, o co zapytać w wywiadzie z klientem, a nie jako werdykt.
Jak nie oszukać samego siebie za pomocą analityki?
Dlaczego różnica może się zmniejszyć albo odwrócić, gdy podzielisz dane?
Ponieważ trzeci czynnik może napędzać obie liczby. W skrajnym przypadku, paradoksie Simpsona, związek pojawia się, znika albo odwraca się po podzieleniu populacji na grupy (Stanford Encyclopedia of Philosophy). Klasyczny przykład to przyjęcia na studia podyplomowe w Berkeley, zbadane przez Bickela, Hammela i O'Connella w 1975 roku. Mężczyzn przyjmowano ogólnie częściej, a mimo to żaden wydział nie dyskryminował kobiet: kobiety częściej aplikowały na wydziały, które przyjmowały mniej osób.
W danych produktowych zwykłym trzecim czynnikiem jest typ planu, wielkość firmy, kanał rejestracji lub staż. Dlatego krok 5 mówi, żeby dzielić według jednej lub dwóch grup.
Ile podziałów to za dużo?
Każdy podział to kolejny los na loterii. Jeśli każdy 5% traf uznasz za odkrycie, szansa, że przynajmniej jeden segment „wygra” przypadkiem, wynosi 23% przy 5 segmentach, 40% przy 10 i 64% przy 20. Nazwij z góry jeden lub dwa podziały, a każdy nieplanowany ekscytujący segment zapisz jako nowe założenie, nie jako wynik. Potem wypisz wydania, zmiany cen i kampanie w tym oknie: skok zbieżny z mailem premierowym wynika z maila.
Jak wygląda product analytics check w praktyce?
Ten przykład jest wymyślony, żeby pokazać metodę. Zespół budujący narzędzie do przeglądu projektów wierzy, że użytkownicy, którzy zapraszają kolegę w pierwszym tygodniu, znacznie częściej zostają. Mówią: „Zaproszeni użytkownicy powinni mieć w dniu 30 retencję lepszą o co najmniej 20 punktów”.
Pobierają liczby. Użytkownicy, którzy zaprosili kogoś w pierwszym tygodniu, mieli w dniu 30 retencję 61%, w porównaniu z 33% u tych, którzy tego nie zrobili, czyli różnicę 28 punktów. Ale grupa, która zapraszała, była też w większości na planach płatnych. Wśród samych kont płatnych różnica spada do 9 punktów.
Pierwszy odczyt przechodzi, drugi nie. Zespół zapisuje wynik jako niejednoznaczny i notuje, że za wszystkim może stać typ planu. Następnym krokiem jest kontrolowany test zachęty do zapraszania kolegów.
Oto ten sam przykład z wielkościami grup:
Grupa
Konta
Na planach płatnych
Retencja w dniu 30
Zaprosili w pierwszym tygodniu
420
80%
61%
Nie zaprosili
1580
Około 33%
33%
Tylko płatne: zaprosili
336
100%
69%
Tylko płatne: nie zaprosili
514
100%
60%
Różnica 28 punktów leży daleko poza szumem (około ± 5 punktów), ale miesza zapraszanie z płaceniem. Różnica 9 punktów wśród kont płatnych (margines około ± 6,5) jest realna, ale to mniej niż połowa wymaganych 20 punktów.
Product analytics check a analiza ruchu na stronie a test A/B
Wizyty i ścieżki głównie anonimowych odwiedzających
Nowe dane z wprowadzonej przez Ciebie zmiany
Odpowiada na pytanie
Czy użytkownicy zachowują się tak, jak zakładaliśmy?
Skąd przychodzą odwiedzający i gdzie odpadają?
Czy ta zmiana powoduje lepszy wynik?
Dowód
Tylko związek
Tylko związek
Przyczyna, jeśli losowo i na dość dużej próbie
Ocena Strategyzer
Brak karty
Discovery; koszt 2/5, dowód 2/5
Validation; koszt 2/5, dowód 3/5
Przeprowadzaj je w tej kolejności: product analytics check mówi, czy przekonanie zasługuje na test A/B.
Jakie są najczęstsze błędy w analityce produktowej?
Otwieranie najpierw dashboardu. Ustal liczbę, zanim zobaczysz dane.
Wiara w nazwy zdarzeń. Sprawdź, czy „project_created” znaczy to, co myślisz.
Mylenie korelacji z przyczyną. Osoby, które robią X, mogą być po prostu od początku bardziej zaangażowane.
Dzielenie, aż coś zadziała. Jeśli sprawdzisz 20 segmentów, jeden będzie wyglądał świetnie przez przypadek.
Raportowanie średniej. Średnie ukrywają, kto co zrobił.
Kiedy to nie działa: przy mniej niż około 100 użytkownikach na grupę, przy zachowaniach, których nie rejestrujesz, i przy każdym pytaniu wymagającym dowodu przyczyny.
Czy analizowanie w ten sposób zachowań użytkowników jest uczciwe?
Zazwyczaj tak, jeśli zostajesz w granicach tego, na co użytkownicy się zgodzili. Sprawdź, czy Twoja polityka prywatności obejmuje analitykę produktową i czy wybory dotyczące zgód zostały uszanowane. Pracuj z grupami, a nie z osobami z imienia i nazwiska: wykres kohortowy jest w porządku, slajd z listą, który klient co zrobił, już nie.
Jak to przeprowadzić w Specky
Na stronie Assumptions kliknij notatkę i wybierz Pick a test, a potem Analytics. Specky wypełnia kroki, sygnał zaliczenia i harmonogram na jeden dzień.
Specky odczytuje liczby z podłączonej analityki, takiej jak PostHog, Mixpanel, Amplitude czy Pendo. Ten test nie ma uruchomienia jednym kliknięciem: poproś o liczbę na czacie albo pobierz ją sam, a potem dołącz ją jako dowód.
Jeśli nic nie jest podłączone, wklej liczby ze źródłem i datą.
Kliknij Start running, a potem zapisz wynik.
Zaliczenie pojawia się na tablicy jako Early signal, a nie Supported, bo odczyt danych z przeszłości jest tylko orientacyjny.
Co zrobić z każdym wynikiem?
Supported (pojawia się jako Early signal): Dane się zgadzają. Jeśli musisz udowodnić przyczynę, przeprowadź test A/B. Jeśli musisz wiedzieć dlaczego, zrób kilka wywiadów.
Unclear: Wynik zależy od grupy. Zanotuj grupy, a potem zdecyduj, która ma znaczenie.
Contradicted: Użytkownicy nie zachowują się tak, jak zakładałeś. Przestań projektować pod to przekonanie. Każdy zakład oparty na tej notatce pojawia się teraz jako Contradicted.
Najczęściej zadawane pytania
Czym jest product analytics check?
Product analytics check wykorzystuje dane, które już zbierasz, żeby potwierdzić lub podważyć założenie produktowe. Najpierw zapisujesz oczekiwaną liczbę, grupę i okres, potem sprawdzasz je w narzędziu analitycznym i porównujesz. Zwykle to najszybszy pierwszy krok, gdy zachowanie jest już śledzone.
Czy analityka może udowodnić, że funkcja spowodowała wynik?
Nie. Analityka z przeszłości może tylko pokazać, że dwie rzeczy wystąpiły razem. Osoby korzystające z funkcji mogą być po prostu od początku bardziej zaangażowane. Żeby wykazać, że zmiana spowodowała wynik, potrzebujesz kontrolowanego eksperymentu, takiego jak test A/B, w którym użytkownicy są przydzielani losowo.
Jak nie oszukać samego siebie za pomocą analityki?
Zapisz metrykę, grupę i oczekiwaną zmianę, zanim otworzysz jakikolwiek dashboard. Potem sprawdź, czy zdarzenie znaczy to, co myślisz, i ogranicz liczbę sposobów, na jakie dzielisz dane. Nazwij z góry jeden lub dwa podziały, a każdy zaskakujący segment traktuj jako nowe założenie do przetestowania.
Jaka jest różnica między retencją N-day a unbounded?
Retencja N-day, którą Amplitude nazywa teraz Return On, liczy użytkowników, którzy wrócili w jednym konkretnym dniu, na przykład w dniu 30. Retencja unbounded, teraz Return On or After, liczy użytkowników, którzy wrócili tego dnia lub później, więc zawsze jest równa albo wyższa. Mixpanel stosuje ten sam podział.
Ile danych potrzebujesz do product analytics check?
Użyj co najmniej 30 dni i celuj w kilkuset użytkowników w każdej porównywanej grupie. Przy 100 użytkownikach na grupę różnica między dwiema wartościami ma margines około 14 punktów, więc coś znaczą tylko duże różnice. Przy 1000 na grupę margines spada do około 4 punktów.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing