9 novembre 2026Mis à jour le Fathy Shalaby12 min de lecture
Product analytics check : tester une hypothèse avec les données que vous avez déjà
Vous avez peut-être déjà la réponse. Examinez les données que vous collectez avant de planifier un nouveau test, et décidez de ce qui compte avant de regarder.
Un product analytics check s'appuie sur le comportement que votre produit enregistre déjà pour confirmer ou remettre en question une hypothèse avant de commander un nouveau test. Vous notez le chiffre que vous attendez, vous récupérez le chiffre réel dans un outil comme Amplitude, PostHog ou Mixpanel, puis vous comparez. Cela prend environ une journée, ne coûte rien et donne une preuve indicative : ce qui s'est passé, pas ce qui l'a causé.
L'essentiel
Écrivez la métrique, le groupe, la période et le signal de réussite avant d'ouvrir un tableau de bord.
Les données passées montrent que des choses surviennent ensemble, pas leur cause. L'équipe d'expérimentation de Microsoft a décrit l'analyse a posteriori comme « largement limitée à l'identification de corrélations » (Kohavi et al., 2009).
La « rétention à J30 » peut désigner deux chiffres. Amplitude et Mixpanel distinguent tous deux le retour le jour 30 du retour le jour 30 ou après.
Si vous vérifiez 20 segments avec un taux de faux positifs de 5 %, la probabilité qu'au moins un ressemble à un gagnant par pur hasard est d'environ 64 %.
Avec 100 utilisateurs par groupe, l'écart entre deux taux de rétention doit atteindre environ 14 points pour que vous puissiez le distinguer du bruit.
Qu'est-ce qu'un product analytics check ?
C'est le test le moins cher de la série : pas de recrutement, pas de développement. Vous prenez une hypothèse qui sous-tend un pari produit, par exemple « les personnes qui invitent un collègue la première semaine restent plus longtemps », vous la reformulez sous forme de chiffre, puis vous allez le chercher.
La bibliothèque d'expériences de Strategyzer pour Testing Business Ideas range ce type de travail parmi les expériences de découverte de type « analyse de données ». Elle ne contient aucune carte intitulée product analytics check. Son plus proche parent, l'analyse du trafic web, est noté 2 sur 5 pour le coût et 2 sur 5 pour la force de la preuve (affiche Strategyzer). Peu coûteux et rapide, mais plus faible que de modifier quelque chose volontairement.
Il répond aux questions sur l'adoption, la fréquence, la séquence, la rétention et les segments. Si le comportement n'est pas enregistré, commencez par une ou ajoutez l'événement et patientez.
Quand utiliser un product analytics check, et quand l'éviter ?
Utilisez-le en premier, dès que l'hypothèse porte sur quelque chose que votre produit enregistre déjà. Il prend une journée, ne coûte rien et tranche souvent la question, ou vous montre la bonne question à poser.
Ne l'utilisez pas pour des produits qui ont très peu d'utilisateurs, où de petits nombres fluctuent fortement. Ne l'utilisez pas pour des choses que vous ne suivez pas, et ne supposez pas qu'un événement signifie ce que son nom annonce avant de l'avoir vérifié. Et si vous devez démontrer qu'un changement a causé un résultat, il vous faut un test A/B, car les données passées ne peuvent montrer que deux choses survenues ensemble.
Quel risque teste-t-il, et quelle est la force de la preuve ?
Il teste la désirabilité : les utilisateurs existants se comportent-ils comme vous l'aviez supposé ? La preuve est indicative. Il s'agit de comportements réels, mais vous regardez en arrière, rien n'a été contrôlé et vous ne voyez que ce qui a été enregistré.
C'est tout de même mieux qu'une intuition. Kohavi et ses collègues ont rapporté que, mesurées objectivement, la plupart des idées n'améliorent pas les métriques qu'elles devaient améliorer (Kohavi et al., 2009). Une vérification d'une journée qui écarte une croyance fragile avant un mois de développement est un bon échange, surtout quand la métrique est votre north star metric. Notre guide pour choisir une expérience produit explique pourquoi c'est souvent la meilleure première étape.
Modèle de product analytics check (à copier et utiliser)
Ouvrez l'image en taille réelle, ou copiez la version texte ci-dessous.
Qui recruter et combien
Personne de nouveau. Utilisez vos données existantes, en général sur au moins 30 jours. Définissez précisément le groupe, par exemple « les comptes créés depuis mars qui ont terminé la configuration ».
Plan étape par étape
Écrivez l'hypothèse sous forme d'un chiffre que vous pouvez retrouver.
Nommez la métrique, le groupe et la période.
Fixez votre signal de réussite.
Vérifiez que l'événement se déclenche quand vous le pensez.
Récupérez le chiffre et découpez-le selon un ou deux groupes.
Comparez-le au signal de réussite.
Notez une explication alternative possible.
Questions auxquelles répondre
« Parmi les utilisateurs qui pouvaient le faire, combien l'ont fait ? »
« À quelle fréquence le font-ils ? »
« Qu'est-ce que ceux qui l'ont fait avaient fait différemment avant ? »
« Est-ce valable pour les nouveaux comme pour les anciens utilisateurs ? »
« Qu'est-ce qui a changé d'autre pendant cette période ? »
Quoi mesurer
La seule métrique que vous avez nommée, la taille du groupe et le même chiffre découpé par un segment pertinent.
Signal de réussite à fixer avant de commencer
Point de départ de Specky : le chiffre que vous avez nommé évolue dans le sens attendu, du montant que vous avez fixé. C'est un point de départ, pas un benchmark. Écrivez la direction et le montant avant d'ouvrir le tableau de bord.
Journal des résultats
Métrique
Groupe
Période
Attendu
Réel
Taille du groupe
Autres explications
Comment définir la métrique pour que le chiffre ait un sens ?
L'étape 2 est celle où la plupart des vérifications dérapent. La « rétention » ressemble à un seul chiffre, mais les outils d'analytics en proposent plusieurs :
Votre question
Amplitude
Mixpanel
Sont-ils revenus exactement le jour 30 ?
Return On (anciennement N-Day)
« On »
Le jour 30 ou à tout moment après ?
Return On or After (anciennement Unbounded)
« On or After »
Dans une plage, par exemple les jours 28-35 ?
Tranches personnalisées, jusqu'à 100 par graphique
Tranches personnalisées
Qu'est-ce qui déclenche le chronomètre ?
L'événement de départ (date d'entrée dans la cohorte)
Le premier « A event » de l'utilisateur
Sources : Amplitude, Mixpanel. PostHog construit le même graphique à partir d'un événement de départ et d'un événement de retour (PostHog).
Trois détails changent la réponse :
« On or after » est toujours au moins aussi élevé que « on ». Il ajoute tous ceux qui reviennent plus tard. Ne comparez jamais le « on » d'une équipe au « on or after » d'une autre.
Jours glissants ou jours calendaires. Dans le mode glissant de Mixpanel, le jour 1 correspond à 24 à 48 heures après le premier événement. En mode calendaire, il correspond au jour calendaire suivant. Une inscription à 23 h 50 peut être retenue au jour 1 dans un mode et pas dans l'autre.
Première fois ou récurrent. La rétention « première fois » de PostHog ne compte un utilisateur dans une cohorte que la première fois qu'il a effectué l'événement de départ ; la rétention récurrente compte chaque période où il l'a fait. Pour « les nouveaux utilisateurs restent-ils ? », utilisez la première fois.
Mixpanel exclut les périodes inachevées de la rétention moyenne. Si la dernière semaine ressemble à un effondrement, vérifiez qu'elle est terminée.
Comment vérifier qu'un événement signifie ce que son nom annonce ?
L'étape 4 prend environ 30 minutes et fait gagner des jours :
Effectuez l'action dans un compte de test et regardez l'événement arriver. Puis faites quelque chose de proche qui ne devrait pas le déclencher.
Comparez une semaine de comptages d'événements avec votre propre base de données. Un écart de plus de quelques pour cent demande une explication.
Trouvez le jour où l'événement a été envoyé pour la première fois. Les utilisateurs antérieurs donneront l'impression de ne jamais l'avoir fait.
Excluez votre équipe, les comptes de test et les bots.
De combien d'utilisateurs avez-vous besoin pour un product analytics check ?
Aucun recrutement, mais la taille du groupe décide quand même si le chiffre signifie quelque chose. Le tableau utilise l'approximation habituelle à 95 % pour un taux proche de 50 %, le pire des cas :
Utilisateurs par groupe
Marge sur un taux
Marge sur l'écart entre deux groupes
30
± 18 points
± 25 points
100
± 10 points
± 14 points
400
± 5 points
± 7 points
1 000
± 3 points
± 4 points
Fixez donc le signal de réussite au-dessus de la marge : avec 100 utilisateurs par groupe, « 5 points de mieux » ne se distingue pas du bruit. En dessous d'environ 100 par groupe, considérez la vérification comme une esquisse qui vous indique quoi demander lors d'un entretien client, pas comme un verdict.
Comment éviter de vous tromper vous-même avec l'analytics ?
Pourquoi un écart peut-il se réduire ou s'inverser quand on découpe les données ?
Parce qu'un troisième facteur peut influencer les deux chiffres. Dans le cas extrême, le paradoxe de Simpson, une association apparaît, disparaît ou s'inverse dès que l'on découpe une population en groupes (Stanford Encyclopedia of Philosophy). L'exemple classique est celui des admissions en troisième cycle à Berkeley, étudiées par Bickel, Hammel et O'Connell en 1975. Les hommes étaient admis à un taux plus élevé dans l'ensemble, et pourtant aucun département ne défavorisait les femmes : elles avaient candidaté plus souvent dans des départements qui admettaient moins de monde.
Dans les données produit, le troisième facteur habituel est le type de formule, la taille de l'entreprise, le canal d'inscription ou l'ancienneté. C'est pourquoi l'étape 5 demande de découper selon un ou deux groupes.
Combien de découpages, c'est trop ?
Chaque découpage est un ticket de loterie de plus. Si vous traitez chaque coup de chance à 5 % comme une trouvaille, la probabilité qu'au moins un segment « gagne » par hasard est de 23 % avec 5 segments, de 40 % avec 10 et de 64 % avec 20. Nommez à l'avance vos un ou deux découpages et consignez tout segment excitant non prévu comme une nouvelle hypothèse, pas comme un résultat. Listez ensuite les versions, changements de prix et campagnes de la période : un pic qui coïncide avec un e-mail de lancement s'explique par l'e-mail.
À quoi ressemble un product analytics check en pratique ?
Cet exemple est inventé pour montrer la méthode. Une équipe qui conçoit un outil de revue de design pense que les utilisateurs qui invitent un collègue durant leur première semaine ont beaucoup plus de chances de rester. Elle énonce : « Les utilisateurs invités devraient avoir une rétention supérieure d'au moins 20 points à J30. »
Elle récupère les chiffres. Les utilisateurs qui ont invité quelqu'un la première semaine affichent 61 % de rétention à J30, contre 33 % pour ceux qui n'ont invité personne, soit un écart de 28 points. Mais le groupe qui a invité était aussi en majorité sur des formules payantes. Parmi les seuls comptes payants, l'écart tombe à 9 points.
La première lecture est concluante, la seconde ne l'est pas. L'équipe consigne le résultat comme non concluant et note que le type de formule pourrait l'expliquer. L'étape suivante est un test contrôlé d'une incitation à inviter des collègues.
Voici le même exemple avec la taille des groupes :
Groupe
Comptes
Sur formule payante
Rétention à J30
A invité la première semaine
420
80 %
61 %
N'a pas invité
1 580
Environ 33 %
33 %
Payants uniquement : ont invité
336
100 %
69 %
Payants uniquement : n'ont pas invité
514
100 %
60 %
L'écart de 28 points est bien au-delà du bruit (environ ± 5 points), mais il mélange le fait d'inviter et le fait de payer. L'écart de 9 points parmi les payants (marge d'environ ± 6,5) est réel, mais inférieur à la moitié des 20 points requis.
Product analytics check, analyse du trafic web ou test A/B
Nouvelles données issues d'un changement que vous faites
Répond à
Les utilisateurs se comportent-ils comme nous l'avions supposé ?
D'où viennent les visiteurs et où décrochent-ils ?
Ce changement cause-t-il un meilleur résultat ?
Preuve
Association seulement
Association seulement
Cause, si randomisé et assez grand
Note Strategyzer
Pas de carte
Discovery ; coût 2/5, preuve 2/5
Validation ; coût 2/5, preuve 3/5
Lancez-les dans cet ordre : le product analytics check vous dit si une croyance mérite un test A/B.
Quelles sont les erreurs d'analytics produit les plus courantes ?
Ouvrir le tableau de bord d'abord. Décidez du chiffre avant de voir les données.
Croire les noms d'événements. Vérifiez que « project_created » signifie ce que vous pensez.
Confondre corrélation et cause. Les personnes qui font X sont peut-être simplement plus engagées au départ.
Découper jusqu'à ce que quelque chose marche. Si vous vérifiez 20 segments, l'un d'eux aura l'air formidable par hasard.
Rapporter la moyenne. Les moyennes cachent qui a fait quoi.
Quand cela ne marche pas : avec moins d'environ 100 utilisateurs par groupe, pour un comportement que vous n'enregistrez pas, et pour toute question qui exige la preuve d'une cause.
Est-il équitable d'analyser ainsi le comportement des utilisateurs ?
En général oui, tant que vous restez dans ce à quoi les utilisateurs ont consenti. Vérifiez que votre politique de confidentialité couvre le product analytics et que les choix de consentement ont été respectés. Travaillez avec des groupes, pas avec des personnes nommées : un graphique de cohorte convient, une diapositive qui énumère quel client a fait quoi ne convient pas.
Comment le réaliser dans Specky
Sur la page Assumptions, cliquez sur la note et choisissez Pick a test, puis Analytics. Specky remplit les étapes, le signal de réussite et un calendrier d'une journée.
Specky lit les chiffres depuis les outils d'analytics connectés, comme PostHog, Mixpanel, Amplitude ou Pendo. Ce test n'a pas d'exécution en un clic : demandez le chiffre dans le chat, ou récupérez-le vous-même, puis joignez-le comme preuve.
Si rien n'est connecté, collez les chiffres avec la source et la date.
Cliquez sur Start running, puis consignez le résultat.
Une réussite s'affiche sur le tableau comme Early signal, pas comme Supported, car la lecture de données passées reste indicative.
Que faire de chaque résultat ?
Supported (s'affiche comme Early signal) : les données confirment. Si vous devez prouver la cause, lancez un test A/B. Si vous devez comprendre pourquoi, menez quelques entretiens.
Unclear : le résultat dépend du groupe. Notez les groupes, puis décidez lequel compte.
Contradicted : les utilisateurs ne se comportent pas comme vous l'aviez supposé. Cessez de concevoir pour cette croyance. Tout pari reposant sur cette note s'affiche désormais comme Contradicted.
Questions fréquentes
Qu'est-ce qu'un product analytics check ?
Un product analytics check utilise les données que vous collectez déjà pour confirmer ou remettre en question une hypothèse produit. Vous écrivez d'abord le chiffre attendu, le groupe et la période, puis vous le cherchez dans votre outil d'analytics et vous comparez. C'est généralement la première étape la plus rapide lorsque le comportement est déjà suivi.
L'analytics peut-il prouver qu'une fonctionnalité a causé un résultat ?
Non. Les analytics passées montrent seulement que deux choses sont survenues ensemble. Les personnes qui utilisent une fonctionnalité sont peut-être simplement plus engagées au départ. Pour montrer qu'un changement a causé un résultat, il faut une expérience contrôlée comme un test A/B, où les utilisateurs sont assignés au hasard.
Comment éviter de me tromper moi-même avec l'analytics ?
Notez la métrique, le groupe et le changement attendu avant d'ouvrir un tableau de bord. Vérifiez ensuite que l'événement signifie ce que vous croyez, et limitez le nombre de façons de découper les données. Nommez à l'avance un ou deux découpages et traitez toute tranche surprenante comme une nouvelle hypothèse à tester.
Quelle est la différence entre la rétention N-day et la rétention unbounded ?
La rétention N-day, qu'Amplitude appelle désormais Return On, compte les utilisateurs revenus un jour précis, par exemple le jour 30. La rétention unbounded, désormais Return On or After, compte ceux qui sont revenus ce jour-là ou plus tard, et elle est donc toujours égale ou supérieure. Mixpanel applique la même distinction.
De combien de données avez-vous besoin pour un product analytics check ?
Prenez au moins 30 jours et visez quelques centaines d'utilisateurs dans chaque groupe que vous comparez. Avec 100 utilisateurs par groupe, l'écart entre deux taux a une marge d'environ 14 points, donc seules les grandes différences signifient quelque chose. Avec 1 000 par groupe, la marge tombe à environ 4 points.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing