2008年，奥巴马在竞选中胜出，出任美国第44任总统，这与他的竞选宣传团队不无关系。
例如，奥巴马的竞选募捐网站，团队共制作了16种不同的组合方案，每个方案都获得一定比例的流量，观察一段时间后，从中选择转化率最高的方案。
这种测试方式就是A/B测试，最终将网站注册转化率提升了40.6%！
各位运营伙伴对于A/B测试一定不陌生。当我们从数据中发现了一定的问题，但是也不敢确定想出来的办法一定能解这个问题的时候，便会说：小范围测试一下吧，这时候说的测试就是A/B测试。
今天，我们就和大家分享下A/B测试在日常运营工作中的应用。
01、A/B测试的概念
A/B测试本质上，是一种在大规模测试条件下评价两个对象或元素中最优者的量化分析方法，解决了决策者凭直觉做的决策不一定是最优的问题，从数据出发，解决了拍脑袋做选择的问题。
比如，找出一部分用户以后把他们平均的分成两组，让其中一组的用户使用改版过后的A版本，再让另外一组使用改版过后的B版本，通过这个测试得到的大量数据中分析出哪一个版本才是最受用户喜爱的，是一种在软件或者网站更新换代时经常用的一个方法，既能保证新版本可以被用户接受又能保证一些小的问题在大面积推广之前就被改善。
02、A/B测试的主要应用场景
A/B测试目前在移动应用中，主要的场景有两类，不同的场景的侧重点也有不同，但最核心目标仍然都是围绕业务的增长展开。两类场景为：
前端展示
如产品优化、活动优化、流程优化等。比如，今日头条在起名字的时候，首先将AppStore上各类免费榜单的前10名整理出来；然后根据名字归类（朗朗上口白话类，内涵情怀类，模拟特殊声音类，公司名+用途类等），分析各类的占比，分析结论是朗朗上口的大白话效果最好。
再然后，对于设计的名称，分渠道A/B测试，确定先验效果类似的发布渠道，分别投放，界面功能logo完全一样，统计各个渠道的用户下载和活跃等核心数据指标，最后测得《今日头条》效果最好。
后端算法
如推荐算法、广告算法、精准营销等；比如测试推荐算法的A/B测试，目的是为了测试推荐算法是否有效，那么根据人口抽样学与数据特征，将用户分为A、B小组；然后对A组用户，根据推荐模型的结果，进行广告推送；对B组用户，根据原有方案进行广告推送；测试结果，可采用客户购买率或交易额等作为评价指标，分析A组与B组的评价指标是否存在差异，以及A组的指标是否更优于B组；最后根据测试效果，科学判断推荐算法是否适用。
03、如何进行A/B测试
如何进行A/B测试，主要从以下4个方面进行说明：
1 确定A/B测试的核心目标
这个应该不用多说，运营是目标导向的，做实验的时候也不例外。只有确定了做A/B测试的核心目的，才能更好地进行后续的A/B测试。
比如，我们可以设定核心目标为，将商品点击率从2%提高到5%。
2 确定测试的样本量
确定了实验目标之后，紧接着我们就应该来测算出需要测试的样本量。很大的样本量虽然更能体现实验的准确性，但是可能在数据收集上也需要耗费更多的时间。很小的样本量，很难说明数据的准确性。
按照实验的准确性原则来说，一般是统计显著≥95%确定的样本量，是有效样本量，能够保证实验结果的准确性，确定操作的统计显著差异不是由于偶然因素造成的，而是系统设定的测试实验的结果。
3 确定A/B测试周期
保证实验周期也是很重要的，要能够刚好覆盖产品的一般使用周期。也就是说，能够覆盖产品的高频用户和低频用户，保证不会因为用户群体之间的差距而产生一定的数据的差异。
举个例子，如果一个产品的使用周期是7天，那么实验周期需要大于等于7。如果一个产品的使用周期是30天（如工具类的产品，比较低频），实验周期就需要大于等于30天，才能更好地保证实验的准确性。
4 A/B测试遵从的原则
接下来，简单地和大家聊下A/B测试需要遵从的原则，以便我们更好地进行实验，在保证实验结果的前提下，能够快速推动实验的进行。
小步快跑原则：遵循效率优先、简单优化的原则，一点点优化，一步步优化；
案例借鉴原则：A/B测试，一定要从数据入手，找到出现异常的数据；
预期管理原则：做好预期管理，这里不仅包含对于实验的预期，也包含对于领导预期的管理。
下面，和大家推荐几个A/B测试的工具。公司规模大，可以建立自己的一套A/B测试，也使用第三方工具，目前第三方工具有：
- 国外：Optimizely，Visual Website Optimizer，Omniture等
- 国内：Testin A/B测试，ABTester，AppAdhoc Optimizer等。
最后，我们来看一个案例：Facebook用A/B测试挽救了20%的亏损.。
2012年，Facebook的产品vp Sam Lessin在扎克伯克的大力支持下，亲率30人团队花费大半年时间开发了一款新的版本。在上线前邀请的一些外部用户与内部员工的评价中，新版本酷炫时尚，比老版本好看的多。如图：
（上图为老版）
（上图为新版）
他们先分配1%的流量给新版本，然后逐渐增多到2%，5%……实验的结果出乎大家意料，新版本在用户参与度、在线时长、广告展示数、营收等四个核心指标的表现上严重落后老版本，刚开始大家觉得可能是用户不习惯，但随着新版本流量放大到12%，观察的时间也拉长到3个月，但情况同样很糟，新版本直接导致了20%的营收下降。最终Facebook壮士断腕，让所有用户回滚到老版本，这才恢复了之前的数据。
由此可见失败的产品方案不可怕，可怕的是没有经过A/B测试直接上线面对用户，这样的结果是不可预知的。
以上就是我们关于A/B测试的一些分享，希望对于大家的运营工作有所帮助，有任何问题，欢迎随时和我们交流。
微信公众号：泰康大健康云，泰康大健康云是赋能、连接、共赢的大健康生态云平台，助力大健康产业互联网化、数字化、智能化。创新云科技，赋能大健康！
文章来源：https://mp.weixin.qq.com/s/axlcrRib-WqtyEi0eJuKJg
