A/B测试的本质是分离式组间试验,也叫对照试验,在科研领域中已被广泛应用。上篇文章《AB测试系统的基础知识、使用场景》分享了很多关于AB测试的基础内容。关于将AB测试进行产品化、形成AB测试系统,行业的发展情况如何?是否有成熟的案例?今天和大家分享一下。
01、AB测试系统简介
A/B测试的本质是分离式组间试验,也叫对照试验,在科研领域中已被广泛应用。自2000年谷歌将这一方法应用在互联网产品以来,A/B测试在国外越来越普及,已成为精细化产品运营的重要体现。
从上图中,可以理解AB测试的原理:当不确定哪个产品方案或者流程效果好的时候,将多个方案作为多个版本,让用户随机访问其中一个版本,收集各组用户的数据,分析、评估各个版本效果,最终采用效果好的版本。
AB测试是衡量线上优化迭代,最有效的方式之一。具体通过以上三个方面(可衡量的目标、有效的分流、结果的正确解读),实现一个完整的AB测试流程。
而该平台的价值主要体现在以下方面:
02、市场竞争情况
《2020-2026全球与中国AB测试软件市场现状及未来发展趋势》指出,2018年全球AB测试软件市场规模达到32亿元,预计2025年将达到71亿元,年复合增长率12.1%,其中亚太市场、尤其是中国将扮演重要角色。
那具体有哪些参与其中的企业或者产品呢?
目前的产品,包括成熟的国外市场、国内吆喝科技等主流的AB测试平台,以及大厂自研的相关平台。
从这里也可以看出,国外参与其中的公司很多了,国内还处于发展阶段。我们选取其中几家主要公司,对比如下:
03、产品调研
下面我们针对吆喝科技、vwo等主要的AB测试平台,进行产品功能详细分享。
(1)吆喝科技
首先看一下吆喝科技的产品流程:
步骤一:创建应用
提供可视化编辑试验、编程试验和多链接合并模式三种模式
步骤二:实验版本
步骤三:优化指标
步骤四:开始实验
步骤五:实验结果分析
(2)vwo
VWO是一个一站式平台,可进行流量研究,优化运营环节,并进行连续实验。VWO遵循结构合理且可重复的流程,从A/B Test策略到流程驱动实现增长优化。2500+品牌通过VWO设计对比实验,驱动用户,营收,利润的增长。
核心流程如下:
在设计实验环节,主要有以下四步骤。
步骤一:基础设置
在这一步,进行URL的设置,并提出假设、选取样本
步骤二:设计实验
步骤三:设定目标
步骤四:设计分层
在实验结果呈现上,产品设计如下。
关于产品功能层面的调研,主要先分享这些。
04、技术架构调研
关于技术架构层面的内容,我们以有赞AB测试系统架构为例。
在这里有两个关键的内容:AB测试平台和AB测试SDK。
在AB测试平台中,主要实现以下功能:
- 元数据管理和实验管理。
- ABTest接入的开发和测试支持。可以查看完整可用的接入示例代码,可以输入分流用户标识进行测试。
- 报表可视化。实时、离线业务指标的对比展示。
- 异常监控。监控 SDK 上报的 ABTest请求数、失败数和延迟时间等数据。
在AB测试SDK中,主要实现以下功能:
- 实验配置动态分发。SDK实现了针对场景标识+用户分流标识的一致性哈希算法,根据场景的实验流量配置,进行实验配置的动态分发。
- 监控。上报ABTest请求日志、业务自定义日志以及监控日志。
- 基于ABTest埋点规范生成前端埋点标识。SDK 生成包括abTraceId(请求唯一标识)和bcm(请求结果标识)等追踪标识,用以透传到前端埋点来追踪用户行为。
另外,技术组件方面的架构如下图:
数据流组件选型及功能:
- NSQ:收集SDK上报的ABTest后端请求日志和自定义上报日志
- Kafka:收集前端埋点日志和NSQ后端日志pFlink:实时数据处理,产出实时报表数据
- Hive/Spark:离线数据处理,产出实验效果数据和评价数据
- HBase:存储实时报表和离线报表的数据,并支持ABTest平台查询
- Druid:存储ABTest实时监控数据和抽样日志,并支持ABTest平台查询
关于AB测试系统的行业调研,先分享这些,欢迎各位小伙伴继续关注~