大厂是如何做A/B测试实验,这里有一套完整的方法论

A/B 测试其实可以看成一种实验,将一个页面的两个或多个不同版本随机呈现给目标用户,通过对用户行为的统计分析来确定哪个版本更利于目标转换。本文主要从三个部分聊聊大厂是如何做AB实验的。

大厂是如何做A/B测试实验,这里有一套完整的方法论

一、什么是AB测试?

在通过定性、定量分析,明确了某个方向的增长策略后,我们需要开始做一些实实在在的动作来驱动增长。而增长实验,就是一种非常重要的驱动增长的方式。它的作用是验证产品、运营动作和增长数据之间的因果性,即当你提出一个方案后,可以通过A/B测试的方式来验证,这个方案是否能够真的驱动用户增长。

本文主要分为3个部分:

如何提出高质量的实验想法,并确认不同想法的优先级?(重要的底层思维)

如何设计一场高质量的实验,并获得有效的结果?

如何快速低成本地上线第一个实验,并将结果有节奏地落地应用到业务中?

二、增长实验的全景图

实验的第一步还是找到天花板最大的模块去作为我们实验的方向。实验是作为增长验证的手段,是为业务增长服务的,所以我们需要找到撬动业务增长那个杠杆点,在这基础上去做实验。

大厂是如何做A/B测试实验,这里有一套完整的方法论

三、如何做一个高质量的实验?

要知道如何做一个高质量实验,首先要明确什么是高质量实验?我的理解,高质量实验,是正确的实验假设+实验效果提升显著。高质量对应着低质量实验,我们先看看低质量实验大家常犯的一些错误:

大厂是如何做A/B测试实验,这里有一套完整的方法论

那对应低质量实验,高质量实验的应该这么思考:

大厂是如何做A/B测试实验,这里有一套完整的方法论

我又把上面那一堆文字总结成流程图,如下:

大厂是如何做A/B测试实验,这里有一套完整的方法论

下面分开几部分讲增长实验流程图:

1、如何产生实验想法:从数据中洞察增长点;

A、结合用户调研定性数据;数据链路定量数据发掘增长实验想法;

B、竞品行业数据发掘公司内部产品价值洼地;

C、通过对数据、对竞品、对行业的洞察,发掘增长实验点,形成初步实验假设,当然,我们还可以通过问题风暴、头脑风暴、建立实验假设库的方式,对实验假设进行进一步全面;

2、通过ICE模型,给实验想法打分;

面对众多的实验假设,实验增长点,我们该如何给实验排优先级?实验是增长业务的一环,增长又是低成本,高价值,快速迭代的,所以实验就是快速,他也是有成本的,所以我们需要找到撬动业务的优先实验;通过ICE模型,我们可以给实验想法假设进行一个打分,I:实验效果可影响面有多大;C:成功概率有多大;E:开发成本ROI是多大?根据这三个指标,我们可以给实验假设想法进行打分;

3、实验设计:

制定实验指标:核心指标(反映实验最终效果)、辅助指标(其他实验可能影响到)、反向指标(实验可能负面的指标;例如提升了单价,但是用户活跃天频下降等)

明确实验用户:实验是针对大盘用户还是特定人群?

样本量和观测时间可支持置信度检测:选定样本量和观测时间需要达到统计学显著;

样本切分多层均匀:实验组对照组均匀,变量唯一,多个实验进行时,需要多层实验框架分流;

4、实验开发上线:

这一块主要涉及到实验功能开发和数据埋点,在跟开发对接的时候,应该注重项目跟进和项目管理;

5、实验结果分析:得出可信结论,并最大化实验效果

评估实验结果可可信性:即假设检验;

分析实验结果:结论是什么?成功还是失败?原因是什么?是否需要拉长时间周期观测?是不是虚荣指标?会不会新奇回归?

如何实验效果最大化?针对这个实验点,是否可以继续做大这个实验点?这个实验点是否可以复制到其他场景?这个实验结果,能不能帮助我审视之前的一些实验想法和优先级;

业界动态

没有数据分析思路,该怎么办?

2020-6-30 12:39:29

业界动态

这些文案每一句都撞进我心里

2020-6-30 13:07:20

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索