2019年1月20日凌晨，黑灰产羊毛党利用电商平台拼多多“无门槛100元券”存在的bug薅羊毛，导致拼多多巨额资金损失。这个事件震惊网络。
今天我们就分以下几个部分来聊一下电子商务的作弊与反作弊。
一、电子商务欺诈现状
二、黑产欺诈态势分析
三、电子商务反欺诈方案
四、反欺诈的技术与效果评估
五、反欺诈的挑战及展望
三、电子商务反欺诈方案
3.1 现有反欺诈方案面临的挑战
当前，有很多厂商提供反欺诈解决方案。同时，大多互联网、“互联网+”企业都部署有不同类型的欺诈检测系统，但很多方案尚不够完善，主要体现在以下几个方面。
3.1.1防御能力单薄
- 通过单个技术方式进行欺诈识别，比如单纯依赖黑名单或简单的人工规则、单点布控等，缺少全流程的反欺诈方法（如设备指纹、验证码、注册保护、登录保护），无法形成从设备启动到用户行为各个环节的纵深防御。
- 反欺诈功能薄弱，只能防御部分欺诈形式，而不能全面防御羊毛党、虚假用户裂变、渠道流量作弊、广告导流、刷单、内容爬取等欺诈形式。
3.1.2防御时效性差
- 比如依赖T+1离线挖掘，欺诈发生后才能发现，无法实时、在线阻止欺诈损失的发生，同时策略生效周期长。
3.1.3防御进化慢
- 缺乏策略迭代闭环，没有形成攻防研究——策略设计——策略研发——验证——运营——案例分析——策略更新的进化闭环。
- 无自学习机制，难以发现潜在的和新型的欺诈模式。
3.1.4过分依赖设备显性ID
- 过分依赖“显性ID”，如IMEI、MAC、IMSI、SN等，以此为识别设备唯一性的标准。
- 这些ID都可以通过改码软件或虚拟机等手段轻易的进行变换/模拟，从而利用有限的造假设备就可以伪装出大量的移动设备。
3.1.5黑名单库准确性低
- 数据服务商受利益驱动，希望扩大数据体量，赚取更多查询费用。
- 整个行业对于黑名单没有一个明确的规范标准。A的黑名单库，未必适合B公司。
- 黑名单数据僵化，因其不可证伪性，更新迭代速度慢，其反欺诈效果越来越差。
3.2 全栈式实时反欺诈方案
完善的反欺诈方案应该既是全面的，也是实时的。
全面的反欺诈方案应该包括：全场景识别体系、全路径实时布控体系、全方位策略体系和全流程运营体系。这样的方案可以全面覆盖全场景多维度，维护企业健康生态，为企业持续运营增长保驾护航，免受黑产欺诈干扰。
实现营销活动反作弊、内容防盗爬、渠道流量反作弊、刷榜刷单防护、虚假用户裂变识别、支付风控等全方位安全保护。
3.2.1 全场景识别体系
智能识别不同行业复杂多样欺诈场景，电子商务的刷榜刷单、商品评论广告导流、机器秒杀特价商品、虚假交易套利，虚假用户裂变等众多场景。
3.2.2 全路径实时布控体系
全路径纵深布局，从设备启动到用户注册、登陆，再到浏览、签到、领券、分享、送礼、邀请好友、评论、下单、提现等业务行为每一个环节实时识别风险，在每一个风险点都精确部署专家防御策略集，做到全局实时风控。
（1）启动
启动阶段根据设备风险SDK 采集数据判断设备是否存在风险，具体包括篡改设备、虚拟机、设备农场、积分墙、设备风险分、云手机等。
（2）注册
注册保护通过作弊设备识别，风险设备聚类，风险设备库，风险IP 库，风险手机号等识别批量接码注册、批量脚本注册、注册机注册、模拟器注册、代理IP 注册、异常手机号注册等异常注册行为。
（3）登录
登录保护通过作弊设备识别，风险设备聚类，异地登录检测，风险设备库，风险IP 库等识别撞库尝试、撞库盗号、洗号登录、晒号登录、养号登录、模拟器登录，篡改设备登录，异常手机号登录、代理IP 登录等异常登录行为。
（4）业务行为
业务行为保护主要判定机器刷积分、代下载、自动化抢红包、机器阅读、自动刷单、自动点赞、盗刷卡、机器秒杀等异常行为。
3.2.3 全方位策略体系
构建全方位多维度立体策略集合，包括关联图谱、行为时序、属性聚熵、资源离散、目标聚集、时域网络，检测设备、行为、关联风险三个层面，实时识别虚拟机、篡改设备、设备农场、积分墙设备、云手机等风险设备；实时拦截机器注册、撞库攻击、机器秒杀、机器薅羊毛、虚假拉新、虚假裂变、恶意抢红包、恶意刷榜刷单等风险操作；同时结合时域网络，采用无监督机器学习模型，递归调度PageRank等风险传播算法进行黑产社群发现，多方位有效精准识别欺诈团伙和高危群体。
3.2.4 全流程运营体系
设立行业级黑产研究院，持续跟踪黑产动态，同时部署顶级策略团队，打造全流程持续循环运营体系，从“案例分析、攻防研究、策略设计、策略研发、策略验证、策略上线到策略运营，实现攻防策略的“闭环迭代，持续进化”。
3.3 移动设备唯一性甄别实时反欺诈方案
移动设备唯一性甄别实时反欺诈方案，是指利用移动设备标识如“可信ID”，为移动开发者实时提供设备真实性&唯一性的甄别服务。通过有效的反作弊措施，鉴别虚假数据，提升运营数据质量，从而有效杜绝灰色产业链的侵蚀。
其采用具备编译器级别的反编译方法，使用数据动态加密，进行代码混淆加密，以及运行环境识别，防止SDK被破解以及传输数据被伪造。
架构上采用多地采集中心和双存储中心，能够容灾备份，保证数据安全。数据采用流式处理和分布式处理，毫秒内返回设备及应用状态结果，保证客户数据实时性。
平台架构分为系统应用层、消息枢纽层、数据计算层、数据存储层，以及监控管理系统。系统应用层包括数据采集上报、客户服务系统；消息枢纽层使用Zookeeper+Kafaka数据计算层包括离线的大数据计算和实时的业务数据计算；数据存储层包括原始日志、中间及结、果型数据。
主要反欺诈应用场景有：O2O防薅羊毛、反作弊验证、虚假流量识别、裂变红包防薅、虚假账号识别、数据防爬虫、伪基站校验识别、识别恶意卸载等。
3.3.1 账号识别及保护反欺诈方案
（1）虚假账号识别/识别欺诈小号：依靠可信ID与客户自定义关联服务，实时鉴别欺诈小号，方便开发者制定设备与账号的反欺诈规则。精准识别虚拟机、模拟器、改码设备生成的账号，对虚假账号进行有效清洗，提升运维质量。
（2）账号保护：防范撞库攻击、暴力破解、账号盗号等恶意行为带来的商业损失。
3.3.2 营销活动反欺诈方案
（1）防羊毛党：实时判断设备真伪，过滤机器注册及重复领取行为，封堵推广资金被“薅羊毛”，避免推广资金被盗取。
（2）裂变红包防薅：识别裂变红包营销中的作弊行为，通过设备可信ID锁定背后的用户，毫秒级鉴别机刷红包及重复领取行为，只给有效用户发放红包福利。
（3）虚假流量识别：提供准确的渠道效果监测服务，毫秒级实时数据反馈、可有效识别虚拟机、重复、封信、召回等多种行为，有效鉴别app 营销推广中的虚假流量。
（4）渠道推广反作弊：提供有效的渠道推广反作弊服务，毫秒级实时数据反馈、可有效识别虚拟机、重复、封信、召回等多种行为，有效鉴别app营销推广中的虚假流量。
（5）反作弊验证：实时验证移动运营推广中的数据质量，基于设备唯一性识别的技术，有效鉴别改码手机、模拟器、虚拟机等生成的虚假用户及流量，提升防作弊的风控等级。
四、反欺诈的技术与效果评估
4.1 反欺诈技术体系架构
每个层的功能如下：
4.1.1 接入层
主要进行接口安全检查、流量控制、参数校验、过载保护等功能。一般提供HTTP接口，POST请求方式，返回结果的格式一般为JSON格式。
4.1.2 业务逻辑层
主要包括业务逻辑的处理，具体模块包括设备指纹服务、业务事件服务、验证码服务。
4.1.3 决策层
决策层包括决策引擎（AE），加载策略集合，根据输入和基础引擎的结果进行判决，给出最后的判定结果。
4.1.4 基础引擎层
基础引擎层包含行为模型服务、名单服务、实时统计服务、实时画像服务，计算各种基础特征。
（1）行为模型服务
行为模型服务是一组基础引擎。它提供了包括监督学习、非监督学习、时域关联网络等多类机器学习在内的模型加载与运行服务。
监督学习模型包括：
- 经典的LR、SVM、GBDT、RandomForest 等
- 深度学习模型，RNN，GAN
非监督学习模型主要是一些异常检测模型：
- GMM 异常检测、离散度模型等
时域关联网络：
- 通过在时间和地域上通过各个实体之间关系进行团伙挖掘
（2）名单服务
名单服务提供配置黑白名单的功能，包括设备、IP、账号等黑白名单。
（3）实时统计服务
配置相关统计指标，包括统计窗口、统计维度、统计周期等，实时统计服务进行实时统计所有配置的指标。
（4）实时画像服务
根据配置相关画像变量，进行实时计算。
4.1.5 模型数据层
提供相关模型和数据，模型包括恶意注册模型、撞库登录模型、申请借贷模型、交易欺诈模型、目标聚集模型、行为时序模型、关联频度模型、资源离散模型、属性聚熵模型等；数据包括名单库、统计库、画像库。
4.1.6 基础平台层
数据平台层主要包括大数据分析和建模平台，具体包括Hadoop、Spark、Elasticsearch、Tensorflow。用于模型训练和数据分析。
4.1.7 管理层
包括具体规则数据管理、系统监控等。
4.2 反欺诈技术
4.3 反欺诈效果验证与评估
4.3.1 事前评估
创建反欺诈事前评估流程，在涉及到欺诈行为的业务场景或者营销活动前，先经过反欺诈事前评估通过。具体操作如下：
（1）创建某业务反欺诈事前评估工单
（2）由风控人员进行反欺诈事前评估
（3）反欺诈评估未通过，反欺诈工单处理人进行措施建议，业务侧进行修改。
（4）反欺诈评估通过后进行业务活动。
在业务开展前，根据用户风险情报库进行反欺诈评估，使反欺诈评估更快捷。对业务的开展不造成时间上的滞后。
同时，可建立初始用户风险情报库，在营销活动的过程中不断发现风险，总结风险知识，完善用户风险情报库，保持风险情报库的时效性。
每次营销活动后，总结风险，深入分析风险，更新用户风险情报库。
4.3.2 事中分析
对反欺诈行为进行事中风险分析，并对欺诈行为进行相应的管控。将欺诈行为划分风险等级，根据不同的风险等级采取相应的措施。
欺诈风险等级：
- Ø 极高风险；
- Ø 高级风险；
- Ø 中级风险；
- Ø 低级风险；
- Ø 无风险；
在业务过程中，进行事中管控策略，建议以二次校验为主，只对高风险行为进行阻断。管控措施如下所示：
在业务开展一段时间后，对事中分析结果进行汇总，并形成报表，用事后评估。
4.3.3 事后评估
对反欺诈行为进行人工验证，采取的验证方式如下。
为保证用户免受拦截误伤，定期对拦截的反欺诈行为进行效果验证。
（1）取被拦截的用户进行定期验证。
（2）人工进行欺诈行为数据分析验证。
（3）判断欺诈拦截行为的准确度。
（4）对不准确的欺诈行为拦截，进行反欺诈风险分析模型调整。
（5）对于精度不够的反欺诈模型进行精度优化。
欺诈分析需要全方位的分析，包含事前分析，事中分析，事后分析，事后取全量业务数据进行是否欺诈行为分析。比对事中分析中生成的风险报表，评估事中分析与事后分析之间的差距。从以下几个方面进行评估。
- 事中分析的准确度占比
- 事中分析的误伤数据占比
- 事中分析的遗漏反欺诈行为用户占比
根据事后评估，更好的优化反欺诈分析模型，提高反欺诈分析的准确度。
五、反欺诈的挑战及展望
5.1 反欺诈的困难和挑战
业务风险不确定性分散。
风控效果不可判断性高。
认知盲区不认知性强。
追求数据美观不务实性多。
5.2 反欺诈未来展望
5.2.1 加强技术升级优化
面对黑产的技术持续进化，反欺诈技术也需要从多方面、多角度持续迭代更新。
（1）优化设备风险识别技术
移动时代，设备风险识别日益重要，我们需要从设备层面进行攻防研究，做好反欺诈防御的第一道关口，保证设备使用的真实性与有效性，有效识别设备的风险，包括不限于虚拟机、云手机、篡改设备、设备农场、猫池卡池、积分墙等，防止黑产用机器大规模作恶，提高黑产的作恶成本。
（2）优化反欺诈模型
大数据现在已经来临，使用单一维度单一模型，无法兼顾高准率与高召回率的平衡，在高维度海量数据面前，机器学习变得日益重要，黑产在部分领域也已经进化到了深度学习的阶段，反欺诈模型也应由应对的进行更行。要大面积推广机器学习、深度学习，让AI 为反欺
诈技术保驾护航，从海量数据中找到欺诈的线索，挖掘出隐蔽的欺诈团伙，让欺诈份子无地可藏。
（3）优化全栈式实时反欺诈
在移动时代下，反欺诈一定要做到全栈、实时，才能真正的维护好企业安全生态。一方面，反欺诈不能成为马其洛防线，单点很强，而其他防线薄弱。对于狡猾的黑产，他们寻找的是防守最薄弱的地方，以最低的成本攻破风控系统，实现欺诈获利。，全栈防御应成为重点演进方现，以保证黑产所有作恶路径上的点都有布防，做到天网恢恢，疏而不漏。
另一方面，反欺诈也不能成为事后诸葛亮，黑产已经获利了结，系统才刚刚发现。黑产是灵活多变的人，作案也是实时变化的，反欺诈系统也必须是实时反欺诈，实时发现黑产的动机，实时拦截黑产的行为，保证系统防御的高效性。
