标签：应该 需要 流量测试 改变 结果 探索 次数 对比 mic
先验和后验
A/B测试其实是一种“先验”的实验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。
注：从原因到结果的论证称为“先验”，而从结果到原因的论证称为“后验”。
例如：
- 我们试验的两个网页之间仅存在一处不同，我们可以确认结果的不同由该变量直接引起，这叫做“先验”；
- 我们从数据中观测到了二个网页之间的不同表现，反向分析导致二者不同的可能原因，这叫做“后验”。
目的
A/B测试的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。
原理
A/B 测试是假设检验的一个具体应用场景。当我们提出 A 和 B 两种方案，从业务的角度上来看，我们是期望 B （实验组）的性能和结果是优于 A （对照组）的，否则我们也不会进行新产品/功能的开发。这里的假设应该是：
H0: A、B版本没有差异 H1: A、B版本有差异（B 优于 A）
因此，在设计试验和计算、分析试验结果的时候，我们也需要遵守推论统计学中假设检验中的一些基本原理。
A/B 测试也有很多不能够胜任的事情，比如：
- 需要长期时间验证的变化；（A/B 测试的运行时间有限，无法对需要长期验证的变化进行验证）
- 检查某些关键部件是否遗漏；（A/B 测试仅能在已有的两个产品中进行对比，但无法帮助你发现彻底遗漏的部分）
- 增加一种新的产品或服务（我们更希望用户能够在新旧产品中做出主动选择，但我们可以通过 A/B 测试获取更多的信息）
- 改变公司的 logo，虽然技术上可以实现，但是可能会受到 “新奇效应” 的影响。（新奇效应使试验结果受用户主观情绪影响，不能得到客观公正的结论）
设计试验的思考框架
在进行 A/B 测试的时候，我们需要明确您所需的试验方案，然后再进行改动。一般思考框架分为下面五个步骤：
- 提出问题
- 建立假设
- 准备方案
- 验证这个假设
- 分析数据得出初步结果
以 Audacity 为例，我们会这样来使用这个思考框架：
- 提出问题：为什么 Audacity 的从主页 -> 探索课程页面的转化率不够高
- 建立假设：一个更吸引人的新设计能增加探索课程的用户
- 准备方案：不同设计的主页，探索课程按钮的点击次数和页面流量统计，需要多少流量来进行这个试验
- 验证这个假设：更吸引人的新设计版本作为版本 B，与原始版本 A 同时上线，展示给具有相同属性的两部分用户，并获得统计数据
- 分析数据得出初步结果：如果 B 版本成功提高了转化率，那么这个假设得到了验证。否则，需要返回第二步来做出其他假设
A/B测试
标签：应该 需要 流量测试 改变 结果 探索 次数 对比 mic
原文地址：https://www.cnblogs.com/jason-zhou/p/12621103.html
