يستخدم product analytics check السلوك الذي يسجّله منتجك بالفعل لتأكيد افتراض واحد أو الطعن فيه قبل أن تطلب اختبارًا جديدًا. تكتب الرقم الذي تتوقعه، وتسحب الرقم الفعلي من أداة مثل Amplitude أو PostHog أو Mixpanel، ثم تقارن بينهما. يستغرق نحو يوم واحد، ولا يكلّف شيئًا، ويمنحك دليلًا إرشاديًا: ما الذي حدث، لا لماذا حدث.
أهم النقاط
اكتب المقياس والمجموعة والفترة وإشارة النجاح قبل أن تفتح أي لوحة بيانات.
تُظهر البيانات السابقة أشياء تحدث معًا، لا ما الذي سبّبها. وصف فريق التجارب في Microsoft التحليل بعد الحدث بأنه “محدود في معظمه بتحديد الارتباطات” (Kohavi et al., 2009).
“الاحتفاظ في اليوم 30” قد يعني رقمين مختلفين. تفصل Amplitude وMixpanel كلتاهما بين العودة في اليوم 30 تحديدًا والعودة في اليوم 30 أو بعده.
إذا فحصت 20 شريحة بمعدل إيجابيات كاذبة 5%، فإن احتمال أن تبدو شريحة واحدة على الأقل فائزة بالصدفة نحو 64%.
مع 100 مستخدم لكل مجموعة، يجب أن يبلغ الفرق بين معدلَي احتفاظ نحو 14 نقطة قبل أن تتمكن من تمييزه عن الضوضاء.
ما هو product analytics check؟
هو أرخص اختبار في هذه السلسلة: لا استقطاب ولا بناء. تأخذ افتراضًا يقوم عليه رهان منتج، مثل “الأشخاص الذين يدعون زميلًا في الأسبوع الأول يبقون مدة أطول”، وتعيد كتابته كرقم، ثم تبحث عنه.
تصنّف مكتبة تجارب Strategyzer الخاصة بكتاب Testing Business Ideas هذا النوع من العمل ضمن تجارب الاستكشاف (discovery) المسماة “تحليل البيانات”. وليس فيها بطاقة اسمها product analytics check. أقرب أقاربه، وهو تحليل حركة الزيارات على الويب، يحصل على 2 من 5 في التكلفة و2 من 5 في قوة الدليل (ملصق Strategyzer). رخيص وسريع، لكنه أضعف من تغيير شيء ما عن قصد.
يجيب عن أسئلة التبنّي والتكرار والتسلسل والاحتفاظ والشرائح. وإذا لم يكن السلوك مسجّلًا، فابدأ بـتحليل حركة الزيارات على الويب أو أضف الحدث وانتظر.
متى تستخدم product analytics check ومتى لا تستخدمه؟
استخدمه أولًا كلما كان الافتراض يتعلق بشيء يسجّله منتجك بالفعل. يستغرق يومًا، ولا يكلّف شيئًا، وكثيرًا ما يحسم السؤال أو يُظهر لك السؤال الصحيح الذي ينبغي طرحه.
لا تستخدمه مع المنتجات التي لديها عدد قليل جدًا من المستخدمين، حيث تتأرجح الأرقام الصغيرة بشدة. ولا تستخدمه لأشياء لا تتتبّعها، ولا تفترض أن الحدث يعني ما يقوله اسمه قبل أن تتحقق. وإذا كنت بحاجة إلى إثبات أن تغييرًا ما تسبّب في نتيجة، فأنت بحاجة إلى اختبار A/B، لأن البيانات السابقة لا تستطيع إلا أن تُظهر أن شيئين حدثا معًا.
أي خطر يختبره، وما قوة الدليل؟
يختبر الرغبة (desirability): هل يتصرف المستخدمون الحاليون كما افترضت؟ الدليل إرشادي. إنه سلوك حقيقي، لكنك تنظر إلى الوراء، ولم يكن هناك تحكّم في أي شيء، ولا ترى إلا ما سُجّل.
ومع ذلك فهو أفضل من الحدس. أفاد Kohavi وزملاؤه بأن معظم الأفكار، عند قياسها بموضوعية، لا تحسّن المقاييس التي صُمّمت لتحسينها (Kohavi et al., 2009). فحص يستغرق يومًا ويقضي على اعتقاد ضعيف قبل شهر من البناء صفقة جيدة، خصوصًا عندما يكون المقياس هو north star metric لديك. ويشرح دليلنا لاختيار تجربة منتج لماذا يكون غالبًا أفضل خطوة أولى.
قالب product analytics check (انسخه واستخدمه)
افتح الصورة بحجمها الكامل، أو انسخ النسخة النصية أدناه.
من تستقطب وكم عددهم
لا أحد جديد. استخدم بياناتك الحالية، وعادةً لمدة 30 يومًا على الأقل. عرّف المجموعة بدقة، مثلًا “الحسابات المنشأة منذ مارس التي أنهت الإعداد”.
خطة خطوة بخطوة
اكتب الافتراض كرقم يمكنك البحث عنه.
سمِّ المقياس والمجموعة والفترة.
حدّد إشارة النجاح.
تأكد من أن الحدث يُطلَق عندما تظن.
اسحب الرقم، وقسّمه حسب مجموعة أو مجموعتين.
قارنه بإشارة النجاح.
اكتب تفسيرًا بديلًا محتملًا واحدًا.
أسئلة للإجابة عنها
“من بين المستخدمين الذين كان بإمكانهم فعل ذلك، كم فعلوه؟”
“كم مرة يفعلونه؟”
“ماذا فعل الذين أنجزوه بشكل مختلف قبل ذلك؟”
“هل يصحّ هذا على المستخدمين الجدد والقدامى؟”
“ما الذي تغيّر أيضًا خلال هذه الفترة؟”
ما الذي تقيسه
المقياس الواحد الذي سمّيته، وحجم المجموعة، والرقم نفسه مقسّمًا حسب شريحة ذات معنى.
إشارة النجاح التي تحددها قبل البدء
نقطة انطلاق Specky: الرقم الذي سمّيته يتحرك في الاتجاه المتوقع بالمقدار الذي حدّدته. هذه نقطة انطلاق، وليست معيارًا مرجعيًا. اكتب الاتجاه والمقدار معًا قبل أن تفتح لوحة البيانات.
سجل النتائج
المقياس
المجموعة
الفترة
المتوقع
الفعلي
حجم المجموعة
تفسيرات أخرى
كيف تعرّف المقياس ليكون للرقم معنى؟
الخطوة 2 هي التي تخطئ فيها معظم الفحوصات. “الاحتفاظ” يبدو رقمًا واحدًا، لكن أدوات التحليلات تقدم عدة أرقام:
“On or after” أعلى دائمًا من “on” أو مساوٍ له على الأقل. فهو يضيف كل من يعود لاحقًا. لا تقارن أبدًا “on” لفريق مع “on or after” لفريق آخر.
الأيام المتحركة مقابل الأيام التقويمية. في وضع rolling في Mixpanel، يعني اليوم 1 بعد 24 إلى 48 ساعة من أول حدث. وفي الوضع التقويمي يعني اليوم التقويمي التالي. قد يُحتسب تسجيل في الساعة 23:50 محتفَظًا به في اليوم 1 في أحد الوضعين وليس في الآخر.
أول مرة مقابل المتكرر. يحتسب الاحتفاظ first-time في PostHog المستخدمَ في فوج ما في أول مرة فقط نفّذ فيها حدث البداية؛ أما المتكرر فيحتسب كل فترة نفّذه فيها. لسؤال “هل يستمر المستخدمون الجدد؟” استخدم first-time.
يستبعد Mixpanel الفترات غير المكتملة من متوسط الاحتفاظ. فإذا بدا الأسبوع الأخير كأنه انهيار، فتحقق مما إذا كان قد انتهى.
كيف تتحقق من أن الحدث يعني ما يقوله اسمه؟
تستغرق الخطوة 4 نحو 30 دقيقة وتوفّر أيامًا:
نفّذ الإجراء في حساب اختبار وراقب وصول الحدث. ثم افعل شيئًا قريبًا منه لا ينبغي أن يُطلقه.
قارن أسبوعًا من أعداد الحدث بقاعدة بياناتك الخاصة. فجوة تزيد على بضعة بالمئة تحتاج إلى تفسير.
اعثر على اليوم الذي أُرسل فيه الحدث لأول مرة. سيبدو المستخدمون الأقدم كأنهم لم ينفذوه قط.
استبعد فريقك وحسابات الاختبار والبوتات.
كم مستخدمًا تحتاج إلى product analytics check؟
لا استقطاب، لكن حجم المجموعة لا يزال يقرر ما إذا كان للرقم معنى. يستخدم الجدول التقريب المعتاد عند 95% لمعدل قريب من 50%، وهو أسوأ حالة:
المستخدمون في كل مجموعة
هامش الخطأ لمعدل واحد
هامش الخطأ للفرق بين مجموعتين
30
± 18 نقطة
± 25 نقطة
100
± 10 نقاط
± 14 نقطة
400
± 5 نقاط
± 7 نقاط
1,000
± 3 نقاط
± 4 نقاط
لذلك اجعل إشارة النجاح أعلى من هامش الخطأ: مع 100 مستخدم لكل مجموعة، لا يمكن تمييز “أفضل بـ 5 نقاط” عن الضوضاء. وتحت نحو 100 في كل مجموعة، تعامل مع الفحص كمسودة تخبرك بما تسأل عنه في مقابلة عميل، لا كحكم نهائي.
كيف تتجنب خداع نفسك بالتحليلات؟
لماذا قد يتقلص الفرق أو ينعكس عندما تقسّم البيانات؟
لأن عاملًا ثالثًا قد يدفع الرقمين معًا. في الحالة القصوى، مفارقة سيمبسون، يظهر ارتباط أو يختفي أو ينعكس بمجرد تقسيم مجتمع ما إلى مجموعات (Stanford Encyclopedia of Philosophy). المثال الكلاسيكي هو القبول في الدراسات العليا في بيركلي، الذي درسه Bickel وHammel وO'Connell عام 1975. قُبل الرجال بنسبة أعلى إجمالًا، ومع ذلك لم يكن أي قسم يتحيز ضد النساء: فقد تقدمت النساء بطلبات أكثر إلى أقسام تقبل عددًا أقل من الناس.
وفي بيانات المنتجات، يكون العامل الثالث المعتاد هو نوع الخطة أو حجم الشركة أو قناة التسجيل أو مدة الاستخدام. ولهذا تقول الخطوة 5 أن تقسّم حسب مجموعة أو مجموعتين.
كم عدد التقسيمات المبالغ فيه؟
كل تقسيم ورقة يانصيب إضافية. إذا عاملت كل صدفة بنسبة 5% على أنها نتيجة، فإن احتمال أن “تفوز” شريحة واحدة على الأقل بالصدفة هو 23% مع 5 شرائح، و40% مع 10، و64% مع 20. سمِّ تقسيمك أو تقسيميك مسبقًا، وسجّل أي شريحة مثيرة غير مخطط لها كافتراض جديد لا كنتيجة. ثم اذكر الإصدارات وتغييرات الأسعار والحملات في تلك الفترة: ارتفاع يتوافق مع بريد إطلاق يعود سببه إلى البريد.
كيف يبدو product analytics check عمليًا؟
هذا المثال مختلق لتوضيح الطريقة. فريق يبني أداة لمراجعة التصميم يعتقد أن المستخدمين الذين يدعون زميلًا في أسبوعهم الأول أكثر احتمالًا بكثير للبقاء. يقولون: “ينبغي أن يحتفظ المستخدمون الذين دعوا بنسبة أفضل بـ 20 نقطة على الأقل في اليوم 30”.
يسحبون الأرقام. المستخدمون الذين دعوا شخصًا في الأسبوع الأول كان احتفاظهم 61% في اليوم 30، مقابل 33% لمن لم يدعُ، أي فرق قدره 28 نقطة. لكن المجموعة التي دعت كانت أيضًا في معظمها على خطط مدفوعة. وبين الحسابات المدفوعة وحدها، ينخفض الفرق إلى 9 نقاط.
تنجح القراءة الأولى ولا تنجح الثانية. يسجّلون النتيجة على أنها غير حاسمة، ويلاحظون أن نوع الخطة قد يكون السبب. والخطوة التالية اختبار مضبوط لدفعة تشجّع على دعوة الزملاء.
وهذا هو المثال نفسه مع أحجام المجموعات:
المجموعة
الحسابات
على خطط مدفوعة
الاحتفاظ في اليوم 30
دعوا في الأسبوع الأول
420
80%
61%
لم يدعوا
1,580
نحو 33%
33%
المدفوعة فقط: دعوا
336
100%
69%
المدفوعة فقط: لم يدعوا
514
100%
60%
الفرق البالغ 28 نقطة يقع بعيدًا خارج الضوضاء (نحو ± 5 نقاط)، لكنه يخلط الدعوة بالدفع. أما الفرق البالغ 9 نقاط بين الحسابات المدفوعة فقط (هامش نحو ± 6.5) فهو حقيقي لكنه أقل من نصف الـ 20 نقطة المطلوبة.
product analytics check مقابل تحليل حركة الزيارات على الويب مقابل اختبار A/B
نفّذها بهذا الترتيب: يخبرك product analytics check ما إذا كان اعتقاد ما يستحق اختبار A/B.
ما أكثر أخطاء تحليلات المنتج شيوعًا؟
فتح لوحة البيانات أولًا. حدّد الرقم قبل أن ترى البيانات.
تصديق أسماء الأحداث. تأكد من أن “project_created” يعني ما تظنه.
الخلط بين الارتباط والسبب. ربما الأشخاص الذين يفعلون X أكثر التزامًا أصلًا.
التقسيم حتى ينجح شيء. إذا فحصت 20 شريحة، فستبدو واحدة منها رائعة بالصدفة.
الإبلاغ عن المتوسط. المتوسطات تخفي من فعل ماذا.
متى لا ينجح: مع أقل من نحو 100 مستخدم لكل مجموعة، ومع سلوك لا تسجّله، ومع أي سؤال يحتاج إلى إثبات السبب.
هل من العدل تجاه المستخدمين تحليل سلوكهم بهذه الطريقة؟
عادةً نعم، ما دمت تبقى ضمن ما وافق عليه المستخدمون. تحقق من أن إشعار الخصوصية لديك يغطي تحليلات المنتج، ومن احترام خيارات الموافقة. اعمل مع مجموعات لا مع أشخاص بأسمائهم: مخطط الأفواج مقبول، أما شريحة عرض تسرد أي عميل فعل ماذا فغير مقبولة.
كيف تنفّذه في Specky
في صفحة Assumptions، انقر على الملاحظة واختر Pick a test، ثم Analytics. يملأ Specky الخطوات وإشارة النجاح وجدولًا زمنيًا من يوم واحد.
يقرأ Specky الأرقام من أدوات التحليلات المتصلة، مثل PostHog أو Mixpanel أو Amplitude أو Pendo. لا يوجد تشغيل بنقرة واحدة لهذا الاختبار: اطلب الرقم في الدردشة، أو اسحبه بنفسك، ثم أرفقه كدليل.
إذا لم يكن هناك شيء متصل، فالصق الأرقام مع المصدر والتاريخ.
انقر على Start running، ثم سجّل النتيجة.
يظهر النجاح على اللوحة بوصفه Early signal وليس Supported، لأن قراءة البيانات السابقة إرشادية.
ماذا تفعل مع كل نتيجة؟
Supported (يظهر كـ Early signal): البيانات متفقة. إذا كنت بحاجة إلى إثبات السبب، فنفّذ اختبار A/B. وإذا كنت بحاجة إلى معرفة السبب، فأجرِ بعض المقابلات.
Unclear: تعتمد النتيجة على المجموعة. دوّن المجموعات، ثم قرر أيها يهم.
Contradicted: المستخدمون لا يتصرفون كما افترضت. توقف عن التصميم لهذا الاعتقاد. وأي رهان قائم على هذه الملاحظة يظهر الآن بوصفه Contradicted.
الأسئلة الشائعة
ما هو product analytics check؟
يستخدم product analytics check بيانات تجمعها بالفعل لتأكيد افتراض عن المنتج أو الطعن فيه. تكتب أولًا الرقم المتوقع والمجموعة والفترة، ثم تبحث عنه في أداة التحليلات لديك وتقارن. وهو عادةً أسرع خطوة أولى عندما يكون السلوك متتبَّعًا بالفعل.
هل تستطيع التحليلات إثبات أن ميزة ما تسببت في نتيجة؟
لا. لا تستطيع التحليلات السابقة إلا أن تُظهر أن شيئين حدثا معًا. فقد يكون الأشخاص الذين يستخدمون ميزة ما أكثر التزامًا أصلًا. ولإثبات أن تغييرًا ما تسبّب في نتيجة، تحتاج إلى تجربة مضبوطة مثل اختبار A/B، حيث يُوزَّع المستخدمون عشوائيًا.
كيف أتجنب خداع نفسي بالتحليلات؟
اكتب المقياس والمجموعة والتغيير المتوقع قبل أن تفتح أي لوحة بيانات. ثم تأكد من أن الحدث يعني ما تظنه، وقيّد عدد الطرق التي تقسّم بها البيانات. سمِّ تقسيمًا أو تقسيمين مسبقًا، وعامل أي شريحة مفاجئة على أنها افتراض جديد يحتاج إلى اختبار.
ما الفرق بين الاحتفاظ N-day والاحتفاظ unbounded؟
الاحتفاظ N-day، الذي تسميه Amplitude الآن Return On، يحتسب المستخدمين الذين عادوا في يوم محدد واحد، مثل اليوم 30. أما الاحتفاظ unbounded، ويسمى الآن Return On or After، فيحتسب المستخدمين الذين عادوا في ذلك اليوم أو بعده، ولذلك يكون دائمًا مساويًا أو أعلى. وتستخدم Mixpanel التقسيم نفسه.
كم تحتاج من البيانات لـ product analytics check؟
استخدم 30 يومًا على الأقل، واستهدف بضع مئات من المستخدمين في كل مجموعة تقارنها. مع 100 مستخدم لكل مجموعة، يكون هامش الخطأ في الفرق بين معدلين نحو 14 نقطة، فلا يعني شيئًا إلا الفروق الكبيرة. ومع 1,000 لكل مجموعة، ينخفض الهامش إلى نحو 4 نقاط.
GDPR-aligned. EU workspace data is stored in Frankfurt, Germany. GDPR and EU data Built in Vienna, Austria. A product of influence solutions fm GmbH (FN 675374y). Imprint 14-day trial. Card required, and nothing is charged until day 14. 30-day refund after subscribing. See pricing