被低估的A/B测试

什么是A/B测试?将Web或App界面做成两个或多个版本,在同一时间维度,分别让两个或多个属性相同(相似)的访客群组访问,收集各群组的用户体验数据和业务数据,最后分析评估出最好版本正式采用。

被低估的A/B测试

今天聊聊A/B测试,关于它的渊源、价值与前沿。

A/B测试可以理解为对照试验,一般针对产品想改进的某个功能或策略,提供两种或多种不同的备选方案,通过测试用户对不同方案的反馈,寻找最优的产品决策。

被低估的A/B测试

奥巴马08年大选时,对4个不同竞选页方案进行了A/B测试,通过数据选出的了右侧优胜版本,这个页面版本为奥巴马队额外获得了300万的支持者,增加了5700万美元的捐款额。

01 源起

20年前,谷歌进行过一次实验,想了解页面展示多少条搜索结果最受读者喜欢。那次实验由于搜索结果加载速度问题没能成功,但却有着划时代意义,它是互联网行业的第一次A/B测试。

在那以后,亚马逊、谷歌、eBay等一众先行者将这种方法应用在产品迭代、内容优化、UI调整、算法检测等各方面,每年有数以万计的实验开启。

国内对A/B测试的应用大概始于10多年前,那时BAT就有支持各自业务的规模性并行A/B测试,但说到把A/B测试根植在基因中的公司,绕不开字节跳动。

2012年成立之初,当还是今日头条的时候,字节跳动就在内部使用A/B测试,之后这个工具逐渐升级、进化,成为大型的测试平台。

字节曾对外透露,每次发布APP,都会起多个名字,放到各大应用市场去做A/B测试,“今日头条”、“抖音”的名字都由此而来。成立9年间,字节总共开了70多万次实验,从增长策略制定,到产品 Feature 迭代,以极高的决策成功率,狂奔到了如今的位置。

2018年字节的A/B测试开始服务少数外部的种子客户,2020年通过火山引擎正式对外商业化。

被低估的A/B测试

02 价值

对一家企业而言,拥有A/B测试的能力到底有多重要?

关于字节内部的A/B测试工具,坊间有着它比 Google Analysics 更好用的评价。外界也有很多声音,说增长团队和A/B测试工具是字节的制胜关键。但我更倾向于认为,工具本身只是显性呈现,背后的本质是科学增长的方法论。

A/B测试,可以被应用在产品的每一个拉新、转化、激活、留存的微小细节,也可以被放置于公司的方案、方向、战略、决策的重大抉择。A/B实验的本质,是能以较小的风险对决策进行评估,并且可以排除其他因素的干扰,寻得定量的结果。经过大量的实验铺陈,企业就能用更小的试错风险,寻得更优的决策。

这些年,我见过很多一夜爆红又一夜死亡的产品,拥有健康增长曲线的公司寥寥无几。对前者而言,成功或许归结于运气与风口,而对后者而言,成功却是一种必然,是在上万次的迭代决策中,都选择了那个“更好一点”的方案的必然。

可以说,企业的竞争力与实施A/B测试的能力密切相关。

03 演进方向

这几年,我在持续关注着A/B测试的产品演进。市面上顶尖的A/B测试产品,提供的是让业务变得精确、简易、高效的能力。而智能化能力与简易化能力,是未来产品演进的重要方向。

智能化方向

在剑桥的 中,将实验平台按成熟度分成了 Crawl, Walk, Run, Fly 四个层次,第四阶的 Fly ,指的是AB测试的自动化乃至智能化阶段。进入这个阶段的实验平台,能够低成本和低人力投入地大量并行A/B测试。

目前少数前沿A/B测试产品具有的动态流量调优能力,是这个方向较有代表性的特性。该能力可以让实验者同时提交多种策略(例如多种推送文案、多个落地页面样式),在实验开启后,由A/B测试工具智能动态扩量优胜版本,无需人工干预,流量自动向“有可能成为最优的策略”倾斜,并根据实时的指标变化,动态更新流量配置。

简易化方向

在新产品层出不穷的今天,内卷竞争弥漫在各行业赛道,倒逼企业转型向精细和高效管理。在精细操作阶段,A/B测试是绕不开的驱动器。曾经需要专业的产品团队、专业的数据分析团队才能完成的A/B测试,会向人人可用、适配全行业的方向发展。

一个比较代表性的产品方向是可视化实验配置能力。这是一个让配置A/B实验趋近零门槛的功能,用户可通过直接拖拽的方式,改变页面布局及各种前端元素,以所见即所得的操作,完成实验对照组和实验组的配置。没有产品基础和数据基础的人同样可以DIY实验,不再需要前后端研发的介入。

另一个我关注的产品能力,是优化的灰度发布和回滚能力。通常产品在新功能发布前,会有“灰度发布 (Feature Flag)”流程,这个流程的目的是采取小流量测试的方式,验证新功能是否稳定。

如果灰度上线后结果不理想,需要协同产研将功能回滚,以做进一步优化。

目前,前沿的A/B测试产品提供了“开关”形式,可直接管理产品内功能的开启/关闭,运营可直接操作,还可以针对目标人群进行定向发布,进行精细化运营。这个功能可以让产品 Feature 迭代高效数倍。

04 结语

近些年围绕增长的概念很多,从战略的第二曲线、品牌的错位竞争,到产品的三级火箭、渠道的裂变营销;另一层面,技术发展也为增长带来了可量化依赖的工具,譬如画像洞察,譬如AB测试。

“增长”已不再是互联网专属的摩登词语,而成为了各行业发展的必修课程。而在凭借经验、才智、理论指引决策之外,数据工具的重要性也将到达前所未有的高度。这个方面,我也会保持时刻的观察,间歇和大家交流。

业界动态

峰终定律:揭露用户宁愿长痛不愿短痛的秘密

2021-6-10 10:35:54

业界动态

快消品企业的营销数字化转型要瞄向三个方向

2021-6-10 10:45:52

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索