先说常规A/B test有哪些原则:
1,必须有个明确目标,且已知有数据可检测对比:
例如,两个活动banner,在较长期的活动中,可以A/B 测试,"同样时间内,单位数字UV 下,哪个banner的点击率更高(不管实际下单率等数据)"。
如果目标不明确,且不清楚直接或间接的数据——极有可能上下A/B test后,依旧不能有充分的数据依据,来支撑论点。
2,A/B test 是策略层面,而不应是战略层面
3,A/B 一定要考虑开发成本和敏捷度
H5较native app,更易实现快速发布、快速修正,比较适合校准方案;但iOS,动辄30天左右的发布周期,在做A/B test,你不是要玩死人嘛。
然后是你说的『A/B test』局限,可能有:
1,对于A/Btest 本身,增加设计成本和开发成本:不是小公司或业务初期可以玩的;
2,该方法本身就是『控制变量法』,控制某些条件不变,调动某些条件变动,来检测『哪种策略好』——但现实环境是复杂的,能保证检测数据的纯洁性,且均已做好埋点,难度也不小;
3,A/B test,得到的数据,也会受到『测试期较短』、『测试不够深入』等质疑——似乎也不能过分依赖测试数据;
—————————扩展———————————
A/B test 都是方法论,在寻找当前最优的策略;基于这个目的,也有其他创新的玩法,未必非A/B test不可:
1,滴滴打车-顺风车模块-乘客发布行程:
顺风车刚开始时,即使调研充分、流程无可挑剔,也会存在『理想与现实』的差距。
滴滴的做法是,针对乘客『行程偏好』做成H5页面,即可以自由调整用户的录入信息、也降低了版本发布的频率(只是需要后端,做好数据兼容性和提供前端切换方案的标识),就是极大提高方案的适应性;
附图(滴滴打车-顺风车-乘客发布行程)