ABT是最典型的数据驱动业务的一个case
在互联网公司的业务发展过程中，用户增长是永恒的主题，因为没有增长也就没有发展，所以在业务发展的早期产品迭代速度往往是越快越好，总之一句话：“怎么快怎么来”。那么通过什么样的工具或手段才能确保数据驱动策略的有效落地和实施呢？很多公司都是通过 ABTest 及建设与之相适配的实验基础设施平台来实现这样的目标。
实验前的准备
- 你进行实验是想证明什么？
- 你的对照组和实验组将是什么样子？
- 如何避免混杂因素？(平台化操作)
- 数据流
样本量
- 为何要计算样本量
从直观上看，当样本数量很少的时候，实验容易被新的样本点带偏，造成了实验结果不稳定，难以得出确信的结论。相反的，样本数量变多，实验则有了更多的“证据”，实验的“可靠性”也就越强。
在现实操作中，样本量应该越少越好(成本/迭代速度) - 置信度和检测效能
- 样本量的计算公式
确定指标
在进行实验时一般是比较实验组和对照组在某些指标上是否存在差异，当然更多时候是看实验组相比对照组某个指标表现是否更好。所以我们在进行实验之前就应该先确定好实验中需要需要对比的指标，更多时候我们关注的比例类的指标，如点击率、转化率、留存率等。后续我们做实验的显著性分析的时候，也是分析的比例类指标。
埋点
UBT
实验中观察
- 观察样本量是否符合预期，比如实验组和对照组分流的流量是否均匀，正常情况下，分流的数据不会相差太大，如果相差太大，就要分析哪里出现了问题。
- 观察用户的行为埋点是否埋的正确，很多次实验之后，我们发现埋点埋错了。
实验后分析
显著性分析
确定显著性根本原因
总结
如何做一次完美的 ABTest？
1、确定对照组和实验组，最好是做单变量的实验，一次只改变一个变量。
2、分流时尽量排除混杂因素，一般情况下采用随机分流即可。
3、检查流量是否达到最小样本量要求，达不到要求则没法进行后续的分析，实验结果不可信。
4、确定本次实验的对比指标，就是如果方案之间存在差别需要通过什么来衡量？
5、准确收集用户行为数据，这就要求埋点必须正确。
6、分析指标的显著性，如果指标不显著则表示实验无效。
7、确定引起显著性的根本原因，排除混杂因素导致实验结果的显著性。
8、最终给出实验结论：有效 or 无效。
