Un product analytics check usa il comportamento che il tuo prodotto già registra per confermare o mettere in dubbio un'ipotesi prima di commissionare un nuovo test. Scrivi il numero che ti aspetti, prendi quello reale da uno strumento come Amplitude, PostHog o Mixpanel e confronti i due. Richiede circa un giorno, non costa nulla e ti dà un'evidenza indicativa: che cosa è successo, non che cosa l'ha causato.
Punti chiave
Scrivi la metrica, il gruppo, il periodo e il segnale di successo prima di aprire una dashboard.
I dati passati mostrano cose che accadono insieme, non la causa. Il team di sperimentazione di Microsoft ha definito l'analisi post hoc «per lo più limitata all'identificazione di correlazioni» (Kohavi et al., 2009).
«Retention al giorno 30» può significare due numeri. Amplitude e Mixpanel distinguono entrambi chi torna esattamente il giorno 30 da chi torna il giorno 30 o dopo.
Se controlli 20 segmenti con un tasso di falsi positivi del 5%, la probabilità che almeno uno sembri vincente per puro caso è circa del 64%.
Con 100 utenti per gruppo, la differenza tra due tassi di retention deve essere di circa 14 punti prima che tu possa distinguerla dal rumore.
Che cos'è un product analytics check?
È il test più economico della serie: niente reclutamento, niente sviluppo. Prendi un'ipotesi alla base di una scommessa di prodotto, come «chi invita un collega nella prima settimana resta più a lungo», la riscrivi come numero e lo cerchi.
La libreria di esperimenti di Strategyzer per Testing Business Ideas colloca questo tipo di lavoro tra gli esperimenti di discovery di «analisi dei dati». Non ha nessuna scheda chiamata product analytics check. Il suo parente più vicino, l'analisi del traffico web, ottiene 2 su 5 per costo e 2 su 5 per solidità dell'evidenza (poster di Strategyzer). Economico e veloce, ma più debole che cambiare qualcosa di proposito.
Risponde a domande su adozione, frequenza, sequenza, retention e segmenti. Se il comportamento non viene registrato, parti da un'analisi del traffico web oppure aggiungi l'evento e aspetta.
Quando usare un product analytics check e quando no?
Usalo per primo, ogni volta che l'ipotesi riguarda qualcosa che il tuo prodotto già registra. Richiede un giorno, non costa nulla e spesso risolve la domanda o ti mostra quella giusta da fare.
Non usarlo per prodotti con pochissimi utenti, dove i numeri piccoli oscillano molto. Non usarlo per cose che non tracci e non dare per scontato che un evento significhi ciò che dice il suo nome finché non l'hai verificato. E se devi dimostrare che un cambiamento ha causato un risultato, ti serve uno split test, perché i dati passati possono solo mostrare che due cose sono avvenute insieme.
Quale rischio mette alla prova e quanto è forte l'evidenza?
Mette alla prova la desiderabilità: gli utenti attuali si comportano come avevi ipotizzato? L'evidenza è indicativa. È comportamento reale, ma guardi indietro, nulla era controllato e vedi solo ciò che è stato registrato.
Resta comunque meglio di un'intuizione. Kohavi e colleghi hanno riferito che, misurate in modo oggettivo, la maggior parte delle idee non migliora le metriche che dovevano migliorare (Kohavi et al., 2009). Una verifica di un giorno che elimina una convinzione debole prima di un mese di sviluppo è un buon affare, soprattutto quando la metrica è la tua north star metric. La nostra guida alla scelta di un esperimento di prodotto spiega perché spesso è il miglior primo passo.
Template del product analytics check (copia e usa)
Apri l'immagine a dimensione intera oppure copia la versione testuale qui sotto.
Chi reclutare e quanti
Nessuno di nuovo. Usa i dati che hai già, di solito almeno 30 giorni. Definisci il gruppo con precisione, per esempio «account creati da marzo che hanno completato la configurazione».
Piano passo per passo
Scrivi l'ipotesi come un numero che puoi andare a cercare.
Indica la metrica, il gruppo e il periodo.
Fissa il tuo segnale di successo.
Verifica che l'evento scatti quando pensi.
Estrai il numero e dividilo per uno o due gruppi.
Confrontalo con il segnale di successo.
Scrivi una possibile spiegazione alternativa.
Domande a cui rispondere
«Tra gli utenti che potevano farlo, quanti lo hanno fatto?»
«Con che frequenza lo fanno?»
«Che cosa facevano diversamente prima quelli che lo hanno fatto?»
«Vale sia per gli utenti nuovi sia per quelli vecchi?»
«Che altro è cambiato in questo periodo?»
Che cosa misurare
La sola metrica che hai indicato, la dimensione del gruppo e lo stesso numero diviso per un segmento significativo.
Segnale di successo da fissare prima di iniziare
Il punto di partenza di Specky: il numero che hai indicato si muove nella direzione attesa della quantità che hai fissato. È un punto di partenza, non un benchmark. Scrivi sia la direzione sia la quantità prima di aprire la dashboard.
Registro dei risultati
Metrica
Gruppo
Periodo
Atteso
Effettivo
Dimensione del gruppo
Altre spiegazioni
Come definisci la metrica perché il numero significhi qualcosa?
Il passaggio 2 è quello in cui la maggior parte delle verifiche va storta. «Retention» sembra un solo numero, ma gli strumenti di analytics ne offrono diversi:
La domanda che ti poni
Amplitude
Mixpanel
Sono tornati esattamente il giorno 30?
Return On (prima N-Day)
«On»
Il giorno 30 o in qualsiasi momento dopo?
Return On or After (prima Unbounded)
«On or After»
In un intervallo, per esempio i giorni 28-35?
Bracket personalizzati, fino a 100 per grafico
Bracket personalizzati
Che cosa fa partire l'orologio?
L'evento iniziale (data di ingresso nella coorte)
Il primo «A event» dell'utente
Fonti: Amplitude, Mixpanel. PostHog costruisce lo stesso grafico a partire da un evento iniziale e da un evento di ritorno (PostHog).
Tre dettagli cambiano la risposta:
«On or after» è sempre almeno alto quanto «on». Aggiunge tutti quelli che tornano più tardi. Non confrontare mai l'«on» di un team con l'«on or after» di un altro.
Giorni mobili o giorni di calendario. Nella modalità rolling di Mixpanel, il giorno 1 significa da 24 a 48 ore dopo il primo evento. Nella modalità calendario significa il giorno di calendario successivo. Un'iscrizione alle 23:50 può risultare trattenuta al giorno 1 in una modalità e non nell'altra.
Prima volta o ricorrente. La retention first-time di PostHog conta un utente in una coorte solo la prima volta che ha eseguito l'evento iniziale; quella ricorrente conta ogni periodo in cui lo ha fatto. Per «i nuovi utenti restano?», usa first-time.
Mixpanel esclude i periodi non conclusi dalla retention media. Se l'ultima settimana sembra un crollo, controlla se è già finita.
Come verifichi che un evento significhi ciò che dice il suo nome?
Il passaggio 4 richiede circa 30 minuti e fa risparmiare giorni:
Esegui l'azione in un account di test e guarda arrivare l'evento. Poi fai qualcosa di simile che non dovrebbe farlo scattare.
Confronta una settimana di conteggi dell'evento con il tuo database. Una differenza di oltre qualche punto percentuale richiede una spiegazione.
Trova il giorno in cui l'evento è stato inviato per la prima volta. Gli utenti precedenti sembreranno non averlo mai fatto.
Escludi il tuo team, gli account di test e i bot.
Di quanti utenti hai bisogno per un product analytics check?
Non serve reclutare, ma la dimensione del gruppo decide comunque se il numero significa qualcosa. La tabella usa la solita approssimazione al 95% per un tasso vicino al 50%, il caso peggiore:
Utenti per gruppo
Margine su un tasso
Margine sulla differenza tra due gruppi
30
± 18 punti
± 25 punti
100
± 10 punti
± 14 punti
400
± 5 punti
± 7 punti
1.000
± 3 punti
± 4 punti
Quindi fissa il segnale di successo sopra il margine: con 100 utenti per gruppo, «5 punti meglio» non si distingue dal rumore. Sotto circa 100 per gruppo, tratta la verifica come uno schizzo che ti dice che cosa chiedere in un'intervista ai clienti, non come un verdetto.
Come eviti di ingannarti con gli analytics?
Perché una differenza può ridursi o invertirsi quando dividi i dati?
Perché un terzo fattore può guidare entrambi i numeri. Nel caso estremo, il paradosso di Simpson, un'associazione compare, scompare o si inverte quando dividi una popolazione in gruppi (Stanford Encyclopedia of Philosophy). L'esempio classico sono le ammissioni ai corsi post-laurea di Berkeley, studiate da Bickel, Hammel e O'Connell nel 1975. Gli uomini venivano ammessi in proporzione maggiore nel complesso, eppure nessun dipartimento penalizzava le donne: le donne si erano candidate più spesso a dipartimenti che ammettevano meno persone.
Nei dati di prodotto il terzo fattore abituale è il tipo di piano, la dimensione dell'azienda, il canale di iscrizione o l'anzianità. Per questo il passaggio 5 dice di dividere per uno o due gruppi.
Quante suddivisioni sono troppe?
Ogni taglio è un altro biglietto della lotteria. Se tratti ogni colpo di fortuna del 5% come un risultato, la probabilità che almeno un segmento «vinca» per caso è del 23% con 5 segmenti, del 40% con 10 e del 64% con 20. Indica in anticipo le tue una o due suddivisioni e registra ogni segmento entusiasmante non pianificato come una nuova ipotesi, non come un risultato. Poi elenca release, cambi di prezzo e campagne nella finestra: un picco che coincide con un'email di lancio riguarda l'email.
Che aspetto ha un product analytics check nella pratica?
Questo esempio è inventato per mostrare il metodo. Un team che sviluppa uno strumento di revisione del design crede che gli utenti che invitano un collega nella prima settimana abbiano molte più probabilità di restare. Dicono: «Gli utenti che invitano dovrebbero avere una retention di almeno 20 punti migliore al giorno 30».
Estraggono i numeri. Gli utenti che hanno invitato qualcuno nella prima settimana avevano una retention del 61% al giorno 30, contro il 33% di quelli che non lo hanno fatto, una differenza di 28 punti. Ma il gruppo che ha invitato era anche in gran parte su piani a pagamento. Tra i soli account a pagamento, la differenza scende a 9 punti.
La prima lettura è superata, la seconda no. Lo registrano come non conclusivo e annotano che il tipo di piano potrebbe esserne la causa. Il passo successivo è un test controllato di uno stimolo a invitare i colleghi.
Ecco lo stesso esempio con la dimensione dei gruppi:
Gruppo
Account
Su piani a pagamento
Retention al giorno 30
Ha invitato nella prima settimana
420
80%
61%
Non ha invitato
1.580
Circa 33%
33%
Solo a pagamento: ha invitato
336
100%
69%
Solo a pagamento: non ha invitato
514
100%
60%
La differenza di 28 punti è ben oltre il rumore (circa ± 5 punti), ma mescola l'invitare con il pagare. La differenza di 9 punti tra i soli account a pagamento (margine circa ± 6,5) è reale, ma è meno della metà dei 20 punti richiesti.
Product analytics check, analisi del traffico web e split test a confronto
Eseguili in quest'ordine: il product analytics check ti dice se una convinzione merita uno split test.
Quali sono gli errori più comuni negli analytics di prodotto?
Aprire prima la dashboard. Decidi il numero prima di vedere i dati.
Credere ai nomi degli eventi. Verifica che «project_created» significhi ciò che pensi.
Confondere correlazione e causa. Chi fa X potrebbe semplicemente essere più coinvolto fin dall'inizio.
Dividere finché qualcosa funziona. Se controlli 20 segmenti, uno sembrerà ottimo per caso.
Riportare la media. Le medie nascondono chi ha fatto che cosa.
Quando non funziona: con meno di circa 100 utenti per gruppo, per comportamenti che non registri e per qualsiasi domanda che richieda la prova di una causa.
È corretto verso gli utenti analizzare così il loro comportamento?
Di solito sì, se resti entro ciò che gli utenti hanno accettato. Verifica che l'informativa sulla privacy copra il product analytics e che le scelte di consenso siano state rispettate. Lavora con gruppi, non con persone indicate per nome: un grafico di coorte va bene, una slide che elenca quale cliente ha fatto che cosa no.
Come eseguirlo in Specky
Nella pagina Assumptions, clicca sulla nota e scegli Pick a test, poi Analytics. Specky compila i passaggi, il segnale di successo e una tempistica di un giorno.
Specky legge i numeri dagli strumenti di analytics collegati, come PostHog, Mixpanel, Amplitude o Pendo. Per questo test non c'è un'esecuzione con un clic: chiedi il numero in chat, oppure estrailo tu, poi allegalo come evidenza.
Se non è collegato nulla, incolla i numeri con fonte e data.
Clicca su Start running, poi registra il risultato.
Un esito positivo appare sulla board come Early signal, non come Supported, perché leggere dati passati è solo indicativo.
Che cosa fare con ciascun esito?
Supported (appare come Early signal): i dati concordano. Se devi dimostrare la causa, esegui uno split test. Se devi capire perché, fai qualche intervista.
Unclear: il risultato dipende dal gruppo. Annota i gruppi, poi decidi quale conta.
Contradicted: gli utenti non si comportano come avevi ipotizzato. Smetti di progettare per quella convinzione. Ogni scommessa che poggia su questa nota ora appare come Contradicted.
Domande frequenti
Che cos'è un product analytics check?
Un product analytics check usa dati che già raccogli per confermare o mettere in dubbio un'ipotesi di prodotto. Scrivi prima il numero atteso, il gruppo e il periodo, poi lo cerchi nel tuo strumento di analytics e confronti. Di solito è il primo passo più rapido quando il comportamento è già tracciato.
Gli analytics possono dimostrare che una funzionalità ha causato un risultato?
No. Gli analytics passati possono solo mostrare che due cose sono avvenute insieme. Chi usa una funzionalità potrebbe semplicemente essere più coinvolto fin dall'inizio. Per mostrare che un cambiamento ha causato un risultato serve un esperimento controllato come uno split test, in cui gli utenti sono assegnati a caso.
Come evito di ingannare me stesso con gli analytics?
Scrivi la metrica, il gruppo e il cambiamento atteso prima di aprire qualsiasi dashboard. Poi verifica che l'evento significhi ciò che pensi e limita in quanti modi dividi i dati. Indica in anticipo una o due suddivisioni e tratta ogni segmento sorprendente come una nuova ipotesi da testare.
Qual è la differenza tra retention N-day e unbounded?
La retention N-day, che Amplitude ora chiama Return On, conta gli utenti tornati in un giorno specifico, come il giorno 30. La retention unbounded, ora Return On or After, conta gli utenti tornati quel giorno o più tardi, quindi è sempre uguale o più alta. Mixpanel usa la stessa distinzione.
Di quanti dati hai bisogno per un product analytics check?
Usa almeno 30 giorni e punta ad alcune centinaia di utenti in ciascun gruppo che confronti. Con 100 utenti per gruppo, la differenza tra due tassi ha un margine di circa 14 punti, quindi solo le differenze grandi significano qualcosa. Con 1.000 per gruppo il margine scende a circa 4 punti.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing