一文解析：A/B-test里「显著性检验」的原理方法和实操案例

1. 什么是 A/B 测试？

A/B 测试本质上是一个受控实验。针对相同的目标和假设，设计两个方案A和B。从一波用户中，随机分成A和B两组。A组使用方案A，B组使用方案B。上线后查看两组实验的数据，从而判断哪一组效果更好。

A/B-test的本质是抽样实验。从统计学的角度来看，当用样本来代表整体时，总是存在统计显着性的问题。数据差异在一定程度上属于正常波动，并不代表某个版本更好。通常 a/b 检验会进行显着性检验。

本文以一个简单的测试为例，描述A/B-test显着性测试的原理和操作方法。（以下内容阅读难度较大，建议有概率论基础知识深入学习。如果只需要了解操作知识，可以跳到第四部分。）

2. 测试目的和计划

验证页面上特定更新对保留的影响

测试用户组随机分为两部分。用户组1使用方案A，用户组2使用方案B。经过一定的测试时间后，根据采集到的两种方案的样本观测数据，根据显着性检验结果选择最佳方案。

为了下面描述的方便，我们不妨将程序A设为对照组，将程序B设为实验组）。下面，我们以某产品的次日留存率为例（注意：所有数据均为虚构，仅供参考）。

三、测试分析原理

选择单面测试还是双面测试取决于您要验证的内容。

双面测试

如果测试的目的是测试采样的样本统计量与假设参数的差异是否过大（无论是正方向还是负方向），我们将风险分配到左右两侧。

即如果不清楚两组数据是否存在差异，如果想验证差异是否显着，一般选择双边检验，比较严格。

单方面测试

如果测试的目的只是专注于验证是高还是低，也就是说只专注于验证一个方向，我们会单方面进行测试。

也就是说，如果你已经知道两组数据或总体不同，你只需要测试它是否高于或低于另一组，你只需要进行单边测试。

在 A/B 测试中，如果要验证某个指标是否有所改善。

可以进行双面测试，双面测试通过，单面测试必须通过。

如果出现两边不通过，一侧通过的情况，建议在观察前继续增加样本量。

四、测试分析示例

在目前的实践中，已经有比较成熟的 Web 产品可以支持 A/B-test 显着性测试。

步骤1。输入测试的分母和分子变量的显著性检验方法，选择置信度变量的显著性检验方法，单面或双面测试

第2步。显着性检验的结果就会出现！操作非常方便。

五、总结

显着性检验的本质是提前对“产品迭代的全在线结果”做出假设，然后用“灰度检验得到的信息”来判断这个假设（替代假设）是否合理。

显着性检验的本质是判断“灰度测试样本”与我们假设的“全在线测试结果”之间的差异是否纯粹是偶然的变化，或者“灰度测试样本”之间的差异是否测试”和“完全在线结果”之间的不一致造成的。原则是“小概率事件的实际不可能原则”接受或拒绝假设。