در دنیای بهینه‌سازی نرخ تبدیل (CRO) و آزمایش‌گری مداوم (Experimentation Grid)، تست‌های A/B تنها ابزار معتبر برای خروج از حدس و گمان‌های شخصی و اتخاذ تصمیمات داده‌محور هستند. اما بزرگ‌ترین چالشی که تیم‌های رشد و متخصصان آنالیتیکس با آن مواجه می‌شوند، نحوه تحلیل نتایج تست‌ها و تعیین برنده واقعی است.

بسیاری از پلتفرم‌های آزمایش‌گری تجاری بر پایه دو مکتب آمار متفاوت یعنی مدل بسامدی (Frequentist) و مدل بیزی (Bayesian) طراحی شده‌اند. انتخاب اشتباه میان این دو مدل می‌تواند منجر به نتایج مثبت کاذب (False Positives)، توقف زودهنگام آزمایش یا سوءتفسیر داده‌ها شود. در این مقاله به بررسی عمیق ریاضیات و منطق عملیاتی هر دو مدل می‌پردازیم تا مشخص شود کدام رویکرد تحلیل‌های شما را دقیق‌تر می‌سازد.

آمار بسامدی مدلی سنتی و آکادمیک است که آزمون فرض صفر ($Null\ Hypothesis$) را مبنا قرار می‌دهد. در این روش، فرض می‌شود هیچ تفاوتی میان نسخه الف (Control) و نسخه ب (Variation) وجود ندارد مگر آنکه خلاف آن با داده‌های آزمایشی اثبات شود.

مفاهیم کلیدی در مدل Frequentist:

• p-value: احتمال اینکه تفاوت مشاهده‌شده صرفاً ناشی از شانس و تصادف باشد. استاندارد طلایی معمولاً $p < 0.05$ است.

• توان آماری (Statistical Power): احتمال کشف یک اثر واقعی در صورتی که واقعاً وجود داشته باشد (معمولاً ۸۰٪).

• حجم نمونه ثابت (Fixed Sample Size): پیش از آغاز تست، حجم نمونه مورد نیاز باید دقیقاً محاسبه شده و تا پایان پر شدن این حجم، نباید داده‌ها تحلیل یا تست متوقف شود.

نقطه ضعف بزرگ: خطای Peeking Problem

بزرگ‌ترین آسیب در روش Frequentist زمانی رخ می‌دهد که مدیران مارکتینگ روزانه به داشبورد نگاه می‌کنند (Peeking) و به محض مشاهده $p-value$ زیر ۰.۰۵، تست را متوقف می‌کنند. این کار احتمال خطای نوع اول (Type I Error) یا مثبت کاذب را به شدت ارتقا می‌دهد.

مدل بیزی بر اساس قضیه بیز (Bayes’ Theorem) کار می‌کند و احتمال واقعی برنده شدن یک نسخه را به صورت مستقیم محاسبه می‌کند. برخلاف مدل Frequentist که نرخ تبدیل واقعی را یک عدد ثابت اما ناشناخته می‌داند، مدل Bayesian نرخ تبدیل را یک «توزیع احتمالی» فرض می‌کند.

مفاهیم کلیدی در مدل Bayesian:

• باور قبلی (Prior Probability): وارد کردن دیتای تاریخی و دانش قبلی از عملکرد کسب‌وکار به مدل.

• توزیع پسین (Posterior Probability): ترکیب داده‌های جدیدِ تست با باورهای قبلی جهت به دست آوردن احتمال به‌روزرسانی‌شده.

• ارزیابی ریسک (Expected Loss): پاسخ به این سوال کلیدی: «اگر نسخه ب را جایگزین نسخه الف کنم و اشتباه کرده باشم، حداکثر چقدر نرخ تبدیل را از دست می‌دهم؟»

پاسخ به این سوال بستگی به حجم ترافیک کسب‌وکار و سرعت اسپرینت‌های رشد شما دارد:

1. برای کسب‌وکارهای پرسرعت و تجارت الکترونیک (Bayesian هوشمندتر است):

   اگر در پلتفرم‌های پرترافیک نیاز به تصمیم‌گیری‌های سریع، تست‌های داینامیک و کاهش اصطکاک اجرای آزمایش‌ها دارید، مدل Bayesian گزینه ارجح است. این مدل اجازه می‌دهد هر زمان که میزان ریسک ($Expected\ Loss$) به زیر آستانه بحرانی رسید، تست متوقف شده و برنده مشخص گردد.

2. برای آزمایش‌های حساس و تحقیقات بالینی/آکادمیک (Frequentist محتاطانه‌تر است):

   اگر در حال انجام تست روی سیستم‌های قیمت‌گذاری بنیادی یا تغییرات ساختاری محصول هستید و نیازمند کنترل دقیق خطای Type I بدون دخالت دادن فرض‌های قبلی ($Priors$) هستید، مدل Frequentist با رعایت دقیق حجم نمونه، اعتبار بالایی ارائه می‌دهد.

💡 جمع‌بندی

هیچ‌یک از این دو مدل «غلط» نیستند، اما آمار بیزی (Bayesian) به دلیل سازگاری بالا با طبیعت پویای کسب‌وکارهای دیجیتال، حذف چالش Peeking Problem و ارائه خروجی‌های ملموس بر پایه «احتمال و ریسک»، امروزه به استاندارد محبوب در ابزارهای مدرن هک رشد و CRO تبدیل شده است. فهم دقیق منطق این دو مدل به شما کمک می‌کند تا آزمایش‌های غیرمعتبر را مسدود کرده و سودآوری تست‌های A/B را تضمین کنید.