5 luglio 2026Aggiornato il Fathy Shalaby15 min di lettura
A/B test per product manager: dall'ipotesi alla decisione
Come condurre A/B test da cui impari qualcosa: modello di ipotesi, metriche primarie e di salvaguardia, un esempio svolto sulla dimensione del campione, la trappola del peeking e una checklist da copiare.
L'A/B test per i product manager consiste nel mostrare una modifica a una metà di utenti scelta a caso e la versione attuale all'altra metà, e nel decidere, sulla base di un'unica metrica concordata in anticipo, se la modifica ha causato un miglioramento. Fatto bene, chiude le discussioni con le evidenze e ti insegna perché gli utenti si comportano come si comportano. Fatto male, dà una falsa sicurezza a decisioni sbagliate.
Punti chiave
La maggior parte delle idee fallisce quando viene testata: solo un terzo delle idee testate in Microsoft ha migliorato la metrica che doveva migliorare, e i tassi di successo di Bing e Google erano attorno al 10-20% (Kohavi, Tang e Xu, 2020).
La dimensione del campione viene prima di tutto. Rilevare un aumento relativo del 10% su un tasso di conversione del 4% richiede circa 38.200 utenti per variante con una significatività del 95% e una potenza dell'80%.
Il peeking rompe la matematica. Fermarsi al primo risultato «significativo», controllando dopo ogni visitatore, ha prodotto falsi positivi nel 26,1% dei casi invece del 5% (Evan Miller, 2010).
Controlla la ripartizione prima del risultato: circa il 6% degli esperimenti in Microsoft mostrava uno sample ratio mismatch (Lukas Vermeer).
Una metrica primaria, qualche metrica di salvaguardia, una data di fine scritta e una nota dopo il test sul perché: è tutta qui la disciplina.
Cos'è l'A/B test per i product manager e quando conviene usarlo?
Usa un A/B test quando sono vere quattro cose:
Hai il traffico. Kohavi, Tang e Xu raccomandano migliaia di unità sperimentali; più ne hai, più piccolo è l'effetto che puoi rilevare.
Il risultato si vede in fretta. Consigliano un criterio di valutazione complessivo (OEC) misurabile in una o due settimane.
La modifica è reversibile. Puoi rilasciare l'una o l'altra versione e tornare indietro.
Non siete d'accordo sull'effetto. Se tutti sono già d'accordo e il rischio è basso, rilascia e monitora.
Il ritorno può essere enorme. In Bing, nel 2012, un'idea per allungare le righe del titolo degli annunci è rimasta in backlog per più di sei mesi. Quando uno sviluppatore l'ha finalmente testata, i ricavi sono saliti del 12%, oltre 100 milioni di dollari l'anno nei soli Stati Uniti (). Nessuno l'aveva previsto.
Perché la maggior parte degli A/B test fallisce prima ancora di cominciare?
Il fallimento avviene nella fase dell'ipotesi, o meglio nella sua assenza. «Testiamo il pulsante della call to action» non è un'ipotesi. È un compito.
Formulazione come compito: testare il pulsante verde contro il pulsante blu.
Formulazione come ipotesi: crediamo che «Inizia la prova gratuita» funzionerà meglio di «Registrati» perché gli utenti del nostro segmento sono avversi al rischio e «gratuita» riduce l'impegno percepito. Misureremo il tasso di clic e la successiva attivazione della prova.
La versione come ipotesi ti dice tre cose che la versione come compito non dice: cosa credi, perché lo credi e quali evidenze ti farebbero cambiare idea. Senza un'ipotesi falsificabile puoi agire in base a un test, ma non puoi imparare da esso.
Ogni test dovrebbe inoltre risalire a un problema dell'utente, non a un'opinione sul prodotto. Prima di scrivere l'ipotesi, ancorala a delle evidenze:
Cosa dicono gli utenti di trovare difficile?
Dove abbandonano?
Cosa fanno gli utenti che hanno successo e quelli che non l'hanno non fanno?
Come si scrive l'ipotesi di un A/B test?
Usa questo modello:
Crediamo che [modifica] causerà [risultato] per [segmento], perché [motivazione]. Sapremo che è vero se [metrica] si muove di [soglia] in [periodo].
Estende il formato dello sviluppo guidato da ipotesi che Barry O'Reilly pubblicò in Thoughtworks nel 2014: crediamo che questa funzionalità porterà a questo risultato, e sapremo di aver avuto successo quando vedremo un segnale misurabile (Thoughtworks, 2014). Il team di sperimentazione di Microsoft aggiunge due regole: mantenere l'ipotesi semplice (dividere una modifica complessa in più test) e assicurarsi che le metriche scelte possano davvero smentirla (Microsoft Research, 2020).
Esempio illustrativo:
Crediamo che mostrare nella pagina dei prezzi il numero di team attivi che usano Specky aumenterà gli avvii di prova per i visitatori che hanno visto la demo del prodotto, perché la riprova sociale riduce l'esitazione nelle decisioni d'acquisto B2B. Sapremo che è vero se il tasso di avvio della prova aumenta di almeno il 10% per quel segmento in 14 giorni.
Nota a cosa si impegna quell'ultima frase: una metrica, un segmento, una soglia e una scadenza. La sezione sulla dimensione del campione qui sotto verifica se 14 giorni sono realistici.
Quante metriche dovrebbe avere un A/B test?
Una sola metrica primaria. Tutto il resto sono metriche di salvaguardia.
Il peccato capitale è avere più metriche di successo. Controlla cinque metriche e probabilmente una sembrerà significativa per caso, e ti convincerai che era quella che contava.
Kohavi, Tang e Xu chiamano la metrica primaria criterio di valutazione complessivo (OEC): una misura quantitativa dell'obiettivo dell'esperimento. Le metriche di salvaguardia proteggono ciò che l'organizzazione non è disposta a sacrificare. Il team ExP di Microsoft calcola un insieme di base per ogni esperimento, indipendentemente dalla funzionalità: soddisfazione degli utenti, salvaguardia, funzionalità ed engagement, e qualità dei dati (Microsoft Research, 2020).
Metrica primaria
Metrica di salvaguardia
Perché la salvaguardia conta
Tasso di registrazione
Tasso di attivazione
Non vuoi attirare utenti che se ne vanno subito
Durata della sessione
Tasso di completamento dei compiti
Sessioni più lunghe non dovrebbero significare utenti confusi
Adozione di una funzionalità
Ticket di supporto
L'adozione non dovrebbe avvenire a costo di confusione
Avvii di prova
Conversione da prova a pagamento
Più prove con minore intenzione possono ridurre i ricavi
Ricavi per visitatore
Tempo di caricamento della pagina, tasso di errore
I peggioramenti di prestazioni danneggiano ogni altra metrica
Se la tua metrica primaria è lontana dai ricavi o dalla retention, verifica che li preveda. La nostra guida alle metriche di product-led growth spiega quali comportamenti tendono a farlo.
Come si calcola la dimensione del campione di un A/B test?
Qui la maggior parte dei PM passa il problema a un data scientist e smette di pensare. Non farlo. Ti servono tre concetti e un numero.
Significatività statistica (α). Il tasso di falsi positivi che accetti. Lo standard è il 5%: se non c'è una differenza reale, dichiarerai a torto un vincitore nel 5% dei casi. La significatività non dice nulla sul fatto che l'effetto sia abbastanza grande da contare.
Potenza statistica (1 − β). La probabilità che il tuo test rilevi un effetto reale della dimensione che ti interessa. L'obiettivo abituale è l'80%. Una potenza bassa significa che concluderai spesso «nessun vincitore» quando ce n'era uno.
Effetto minimo rilevabile (MDE). Il più piccolo miglioramento che vale la pena rilevare. È una decisione di business, non statistica. Se un aumento di 0,1 punti non vale il costo di ingegneria, non progettare un test abbastanza sensibile da trovarlo.
Inserisci tasso di base, MDE, significatività e potenza in un calcolatore come il calcolatore di dimensione del campione di Evan Miller. Per una stima rapida, Evan Miller dà una regola pratica: n = 16 × σ² ÷ δ² per variante, dove δ è l'effetto minimo e σ² = p × (1 − p) per un tasso di conversione p (Evan Miller, 2010).
Esempio svolto: 14 giorni sono realistici?
Prendi l'ipotesi sulla pagina dei prezzi qui sopra. Supponiamo che il tasso di base di avvio della prova in quel segmento sia del 4%. Con la formula del calcolatore al 5% di significatività e 80% di potenza:
Aumento relativo da rilevare
Variazione assoluta
Utenti per variante
Utenti totali
Settimane con 4.000 visitatori a settimana
5%
4,0% → 4,2%
~151.800
~303.600
~76
10%
4,0% → 4,4%
~38.200
~76.400
~19
20%
4,0% → 4,8%
~9.700
~19.400
~5
La regola pratica concorda: 16 × 0,04 × 0,96 ÷ 0,004² = 38.400 per variante per l'aumento del 10%.
Per finire in 14 giorni, il segmento ha bisogno di circa 76.400 ÷ 14 ≈ 5.460 visitatori idonei al giorno. Un team con 4.000 a settimana ha tre opzioni oneste:
Alzare l'MDE. Testa solo modifiche abbastanza audaci da spostare la metrica del 20% o più.
Spostare la metrica a monte. Testa su un passo con più volume, come i clic sulla pagina dei prezzi, e tratta gli avvii di prova come metrica di salvaguardia.
Non fare un A/B test. Rilascia, monitora e impara invece dalle conversazioni con i clienti.
Se non puoi raggiungere il campione necessario in un tempo ragionevole, il test non vale la pena.
Quanto deve durare un A/B test, e perché non bisogna fare peeking?
Decidi la data di fine prima del lancio, in base al calcolo della dimensione del campione. Poi lascialo correre per settimane intere, così che siano rappresentati sia gli utenti dei giorni feriali sia quelli del fine settimana.
Non controllare i risultati ogni giorno e non fermarti quando sembrano buoni. Si chiama peeking e rovina il tuo tasso di falsi positivi. Evan Miller ha mostrato che, se controlli dopo ogni osservazione e ti fermi al primo risultato significativo, una modifica che non fa nulla viene dichiarata vincente nel 26,1% dei casi, non nel 5%. Se guardi 10 volte, un risultato riportato all'1% di significatività è in realtà al 5% (Evan Miller, 2010).
Scrivi la data di fine e resisti alla tentazione. Se hai davvero bisogno di fermarti prima per un vincitore, usa un metodo pensato per farlo, come il test sequenziale o un disegno bayesiano, impostato prima del lancio.
C'è un'eccezione: tieni d'occhio le metriche di salvaguardia per danni gravi. Se un test causa un calo del 40% in una metrica critica, fermalo per la salvaguardia, non perché la metrica primaria oscilla.
E l'effetto novità?
Gli utenti si comportano in modo diverso quando qualcosa sembra nuovo. Un'interfaccia nuova può far salire l'engagement per poco e poi svanire quando la novità si esaurisce. Succede anche il contrario: Kohavi, Tang e Xu avvertono che i redesign affrontano effetti di primacy, in cui gli utenti abituati alla vecchia versione reagiscono male all'inizio (Kohavi, Tang e Xu, 2020). Per le modifiche a superfici usate di frequente, traccia l'effetto giorno per giorno. Se si riduce o cresce costantemente, lascia correre il test più a lungo prima di decidere.
Come si leggono i risultati di un A/B test senza ingannarsi?
Controlla la ripartizione prima del risultato
Se hai assegnato 50/50 ma vedi 52/48 con numeri grandi, qualcosa è rotto: un reindirizzamento, un filtro anti-bot, un bug di logging. È uno sample ratio mismatch (SRM). Circa il 6% degli esperimenti in Microsoft e circa il 10% degli esperimenti attivati in LinkedIn ne ha mostrato uno, e un prodotto che esegue 10.000 esperimenti l'anno può aspettarsene almeno uno al giorno (Lukas Vermeer). Non ci si può fidare di un test con un SRM, qualunque sia il suo p-value.
Diffida delle vittorie sorprendenti
Kohavi, Tang e Xu sostengono la legge di Twyman: «Qualsiasi cifra che sembra interessante o diversa è di solito sbagliata». Un aumento del 40% da una modifica di testo è più probabilmente un bug che una svolta. Ricontrolla i dati, poi ripeti il test.
Scegli uno dei tre esiti
La variante vince. La metrica primaria è migliorata in modo significativo, il campione è stato raggiunto e nessuna metrica di salvaguardia è scattata. Rilasciala e scrivi perché pensi che abbia funzionato.
Vince il controllo, o non c'è differenza. La modifica non ha spostato nulla. È comunque una vittoria: hai evitato di rilasciare qualcosa di inutile. Registra perché l'ipotesi era sbagliata.
Non conclusivo. Non hai raggiunto il campione previsto, o l'effetto è troppo piccolo per contare. Non dichiarare un vincitore. Prosegui fino alla data di fine prevista oppure fermati e accetta di non poter concludere nulla.
Chiediti perché ha vinto
Una variante vincente ti dice che qualcosa ha funzionato, raramente perché. Senza il perché non puoi generalizzare ciò che hai imparato. Dopo una vittoria:
Intervista o sonda gli utenti esposti alla variante.
Controlla le suddivisioni per segmento, trattandole come nuove ipotesi e non come prove; tagliare in molti segmenti crea vincitori casuali.
Guarda l'intero funnel, non solo la metrica primaria.
Scrivi una sintesi dopo il test: «Crediamo che abbia funzionato per X. Evidenza: Y. Prossimo test: Z».
Quali sono gli errori più comuni negli A/B test?
1. Testare troppe cose insieme. I test multivariati richiedono molto più traffico per raggiungere la significatività per ogni combinazione e nascondono quale modifica ha prodotto il risultato. A meno di avere molto traffico, testa una modifica alla volta.
2. Eseguire test sovrapposti sugli stessi utenti senza un piano. Se un test cambia l'onboarding e un altro cambia i prezzi per gli stessi utenti, gli effetti possono mescolarsi. Eseguili in sequenza o usa una piattaforma che gestisca l'assegnazione sovrapposta.
3. Ignorare novità e primacy. Test brevi su schermate familiari sovrastimano o sottostimano l'effetto a lungo termine.
4. Ottimizzare la fase sbagliata del funnel. Se il vero problema è l'attivazione, un tasso di registrazione migliore non risolve nulla. Chiediti se la metrica prevede retention e ricavi; la guida all'attivazione SaaS mostra come verificarlo.
5. Eseguire test con poca potenza. Un test che potrebbe rilevare solo un aumento del 50% restituirà «nessuna differenza» per la maggior parte dei miglioramenti reali, e il team concluderà a torto che l'idea è fallita.
6. Rilasciare il vincitore senza ciò che si è imparato. Lo scopo di un test è imparare qualcosa di vero sugli utenti. Un vincitore che nessuno sa spiegare è un'occasione persa; un perdente che il PM comprende fino in fondo è un successo.
Come si costruisce una cultura del test che si accumula?
Il vero valore degli A/B test per i product manager si costruisce su molti test, quindi aspettati di sbagliare la maggior parte delle volte. Se solo un terzo delle idee migliora la metrica obiettivo in Microsoft, un team con il 30% di vittorie è normale, non in fallimento.
Documenta ogni test, compresi i fallimenti. I test falliti spesso valgono di più: smentiscono convinzioni che avrebbero mandato il team nella direzione sbagliata.
Etichetta i test in base alla convinzione sull'utente che sta alla base. «Gli utenti sono avversi al rischio alla registrazione». «I power user non leggono i tooltip». «L'ancoraggio del prezzo funziona nel nostro segmento». Col tempo costruisci una mappa di ciò che sai dei tuoi utenti.
Fai una revisione trimestrale degli esperimenti. Quali schemi sono emersi? Cosa credi ora che prima non credevi? Quale vecchia convinzione è stata ribaltata?
Collega i risultati alle decisioni di prodotto. Quando scrivi una specifica, cita i test su cui si basa. Prima di eseguire un test, controlla se uno precedente ha già risposto alla domanda. Un registro delle decisioni di prodotto è il posto più semplice dove mantenere quel collegamento.
Checklist per A/B test da copiare
Prima di iniziare:
Definizione del problema con evidenze a supporto (citazioni, dati)
Ipotesi falsificabile nel formato del modello
Una metrica primaria definita
Metriche di salvaguardia definite
Effetto minimo rilevabile concordato (decisione di business)
Dimensione del campione calcolata e fattibile entro il tuo limite di tempo
Data di fine scritta (niente peeking)
Allocazione del traffico confermata (nessun test in conflitto)
Quando leggi i risultati:
Il rapporto del campione corrisponde alla ripartizione pianificata
Dimensione del campione pianificata raggiunta
Metrica primaria statisticamente significativa
Nessuna metrica di salvaguardia è scattata
Risultato sorprendente ricontrollato (legge di Twyman)
Sai spiegare perché è successo
Dopo il rilascio (o no):
Sintesi dopo il test scritta
Apprendimento collegato alla decisione che ha informato
L'A/B test per i product manager funziona meglio su modifiche reversibili, con molto traffico e risultati rapidi. È lo strumento sbagliato in quattro situazioni:
Poco traffico. La maggior parte dei prodotti B2B in fase iniziale non può raggiungere decine di migliaia di utenti per variante. Usa invece ricerca qualitativa e modifiche audaci.
Esiti a lungo termine. Il rinnovo annuale o la retention a 12 mesi non emergeranno in un test di due settimane.
Effetti di rete. Quando gli utenti interagiscono, come negli strumenti di collaborazione o nei marketplace, il trattamento può riversarsi nel controllo.
Questioni irreversibili o etiche. Prezzi che alcuni clienti vedrebbero come ingiusti, o modifiche che non puoi annullare, richiedono un altro processo decisionale.
Dove si inserisce Specky
La maggior parte dei risultati degli esperimenti vive in uno strumento di analytics o in un foglio di calcolo, scollegata dalle ragioni per cui sono stati condotti. Nella vista Esperimenti di Specky colleghi ogni test all'assunzione o all'opportunità che verifica, scrivi i criteri di successo prima che parta e registri il risultato come validato o invalidato. L'apprendimento viene salvato nel Product Graph e la decisione viene registrata, così sei mesi dopo, quando qualcuno imposta una funzionalità correlata, il test precedente e le sue evidenze emergono invece di essere rifatti. Non sostituisce il tuo strumento di test né la sua statistica; tiene ciò che hai imparato legato a ciò che decidi.
Domande frequenti
Quanto deve durare un A/B test?
Un A/B test deve durare finché non raggiunge la dimensione del campione calcolata prima del lancio, arrotondata a settimane intere in modo da coprire ogni giorno della settimana. Kohavi, Tang e Xu suggeriscono metriche leggibili in una o due settimane. Non fermarti mai prima perché il risultato sembra significativo; gonfia i falsi positivi.
Di quale dimensione del campione ho bisogno per un A/B test?
Dipende dal tuo tasso di base e dal più piccolo aumento che vale la pena rilevare. Con una base del 4%, rilevare un aumento relativo del 10% richiede circa 38.200 utenti per variante al 5% di significatività e 80% di potenza; per il 20% ne servono circa 9.700. Usa un calcolatore come quello di Evan Miller, o la regola pratica n = 16 × p(1 − p) ÷ δ².
Si possono fare A/B test con poco traffico?
Solo per effetti grandi su azioni frequenti. Con una base del 20%, rilevare un aumento relativo del 20% richiede circa 1.600 utenti per variante, quindi qualche migliaio di utenti può rispondere; piccoli ritocchi su azioni rare non si possono testare. Altrimenti usa metodi qualitativi: test di usabilità, interviste ai clienti, fake door test o concierge test. Rispondono a domande diverse, ma ti danno evidenze invece di un test non conclusivo.
Cos'è una metrica di salvaguardia in un A/B test?
Una metrica di salvaguardia è una metrica che la modifica non deve danneggiare, anche se la metrica primaria migliora. Le salvaguardie tipiche sono attivazione, retention, tassi di errore, tempo di caricamento delle pagine e ticket di supporto. Concordale prima del lancio e ferma un test in anticipo solo se una metrica di salvaguardia mostra un danno grave, non perché la metrica primaria sembra buona.
Cosa significa peeking in un A/B test?
Peeking significa controllare la significatività mentre un test è in corso e fermarlo quando sembra significativo. Rompe l'ipotesi di una dimensione del campione fissa. Evan Miller ha mostrato che controllare dopo ogni osservazione e fermarsi al primo risultato significativo produce falsi positivi nel 26,1% dei casi invece del 5%. Fissa in anticipo dimensione del campione e data di fine.
Come si fa un A/B test su una campagna di recupero di utenti persi?
Dividi a caso gli utenti inattivi in un gruppo che riceve l'offerta di recupero e un gruppo di controllo che non riceve nulla. Usa la riattivazione entro una finestra fissa, come 30 giorni, come metrica primaria, e il costo dello sconto e il tasso di disiscrizione come metriche di salvaguardia. Le liste di utenti inattivi sono spesso piccole, quindi testa differenze audaci e calcola prima il campione.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing