A/B测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用。上篇文章《AB测试系统的基础知识、使用场景》分享了很多关于AB测试的基础内容。关于将AB测试进行产品化、形成AB测试系统，行业的发展情况如何？是否有成熟的案例？今天和大家分享一下。
01、AB测试系统简介
A/B测试的本质是分离式组间试验，也叫对照试验，在科研领域中已被广泛应用。自2000年谷歌将这一方法应用在互联网产品以来，A/B测试在国外越来越普及，已成为精细化产品运营的重要体现。
从上图中，可以理解AB测试的原理：当不确定哪个产品方案或者流程效果好的时候，将多个方案作为多个版本，让用户随机访问其中一个版本，收集各组用户的数据，分析、评估各个版本效果，最终采用效果好的版本。
AB测试是衡量线上优化迭代，最有效的方式之一。具体通过以上三个方面（可衡量的目标、有效的分流、结果的正确解读），实现一个完整的AB测试流程。
而该平台的价值主要体现在以下方面：
02、市场竞争情况
《2020-2026全球与中国AB测试软件市场现状及未来发展趋势》指出，2018年全球AB测试软件市场规模达到32亿元，预计2025年将达到71亿元，年复合增长率12.1%，其中亚太市场、尤其是中国将扮演重要角色。
那具体有哪些参与其中的企业或者产品呢？
目前的产品，包括成熟的国外市场、国内吆喝科技等主流的AB测试平台，以及大厂自研的相关平台。
从这里也可以看出，国外参与其中的公司很多了，国内还处于发展阶段。我们选取其中几家主要公司，对比如下：
03、产品调研
下面我们针对吆喝科技、vwo等主要的AB测试平台，进行产品功能详细分享。
（1）吆喝科技
首先看一下吆喝科技的产品流程：
步骤一：创建应用
提供可视化编辑试验、编程试验和多链接合并模式三种模式
步骤二：实验版本
步骤三：优化指标
步骤四：开始实验
步骤五：实验结果分析
（2）vwo
VWO是一个一站式平台，可进行流量研究，优化运营环节，并进行连续实验。VWO遵循结构合理且可重复的流程，从A/B Test策略到流程驱动实现增长优化。2500+品牌通过VWO设计对比实验，驱动用户，营收，利润的增长。
核心流程如下：
在设计实验环节，主要有以下四步骤。
步骤一：基础设置
在这一步，进行URL的设置，并提出假设、选取样本
步骤二：设计实验
步骤三：设定目标
步骤四：设计分层
在实验结果呈现上，产品设计如下。
关于产品功能层面的调研，主要先分享这些。
04、技术架构调研
关于技术架构层面的内容，我们以有赞AB测试系统架构为例。
在这里有两个关键的内容：AB测试平台和AB测试SDK。
在AB测试平台中，主要实现以下功能：
- 元数据管理和实验管理。
- ABTest接入的开发和测试支持。可以查看完整可用的接入示例代码，可以输入分流用户标识进行测试。
- 报表可视化。实时、离线业务指标的对比展示。
- 异常监控。监控 SDK 上报的 ABTest请求数、失败数和延迟时间等数据。
在AB测试SDK中，主要实现以下功能：
- 实验配置动态分发。SDK实现了针对场景标识+用户分流标识的一致性哈希算法，根据场景的实验流量配置，进行实验配置的动态分发。
- 监控。上报ABTest请求日志、业务自定义日志以及监控日志。
- 基于ABTest埋点规范生成前端埋点标识。SDK 生成包括abTraceId（请求唯一标识）和bcm（请求结果标识）等追踪标识，用以透传到前端埋点来追踪用户行为。
另外，技术组件方面的架构如下图：
数据流组件选型及功能：
- NSQ：收集SDK上报的ABTest后端请求日志和自定义上报日志
- Kafka：收集前端埋点日志和NSQ后端日志pFlink：实时数据处理，产出实时报表数据
- Hive/Spark：离线数据处理，产出实验效果数据和评价数据
- HBase：存储实时报表和离线报表的数据，并支持ABTest平台查询
- Druid：存储ABTest实时监控数据和抽样日志，并支持ABTest平台查询
关于AB测试系统的行业调研，先分享这些，欢迎各位小伙伴继续关注~
