Dou, Yingtong, Guixiang Ma, Philip S. Yu, and Sihong Xie.  (2020) "Robust Spammer Detection by Nash Reinforcement Learning." KDD'20.

引言

关于互联网水军以及欺诈检测，本公众号曾介绍过一系列文章。例如：

深度长文：图神经网络欺诈检测方法总结

WSDM2018: 一种基于邻居信息的水军发现算法

利用有向图模型检测社交网络上的欺诈账户

本文将介绍这个方向的最新工作，其利用强化学习来训练鲁棒的虚假评论检测器，来自 KDD 2020。文章全文和代码可以通过下面的链接获取：

文章：https://arxiv.org/abs/2006.06069

代码：https://github.com/YingtongDou/Nash-Detect

背景

在 Web2.0 时代，用户可以在互联网上分享自己的观点，组成社交网络；同时，网络水军也随之出现。在像 Twitter 和 Facebook 这样的社交网络出现之前，Yelp 等在线点评网站是水军主要的聚集点。

商家通过雇佣水军发表虚假评论来提高其商品的好评率，然后进一步影响平台的推荐算法和用户决策。这种类型的水军至今依然活跃在互联网中。

社交网络的出现孕育了基于社交网络的水军，他们的形式和行为都更为丰富。

以微博为例，水军可以转发，评论，点赞。水军账户也有机器人账户和真人账户之分。水军的目的也多种多样，可以打榜，可以卖货，也可以是诋毁他人。

随着社交网络和人工智能技术的发展，最近几年，水军经常和假新闻，谣言等虚假信息联系在一起。在一些虚假信息传播过程中，水军扮演着重要的角色。

总而言之，通过大量同质行为或内容形成回声室效应（echo chamber effect），从而影响其他用户的观点和决策，是社交网络水军的最终目的。

本文介绍的这篇最新论文主要关注评价系统的水军，即大众点评餐厅评价，还有淘宝商品评价中的水军行为。

下面我们分别介绍这篇文章的动机，方法，以及贡献。

水军的目标

在许多之前的工作中，大家普遍认为让更多虚假评论留存是水军的目的。根据许多现实生活中水军的行为，这篇文章首先认为：水军的实际目标是对目标商品起到宣传作用，这种宣传作用可以用目标商品的评分变化来衡量。

在市场研究领域，有论文已经用线性回归建模了商品的声誉和其收入的关系。

M. Luca. 2016. Reviews, reputation, and revenue: The case of Yelp. com. HBS Working Paper (2016).

这篇 KDD 的文章利用市场研究的现有成果，从商品评分变化的角度定义了虚假评论的实际效应（practical effect）。

实际效应可以用来表示水军和平台在对抗过程中的实际目标（practical goals），假设水军的目标是推广目标商品，那么平台的目标就是尽可能地减少推广的程度。

对于检测器来说，这样的检测目标和传统机器学习中基于准确率和召回率的检测目标不同，它更关注水军的实际影响力。

该文章也通过实验证明，即使在召回率很高的情况下，水军依然可以达到很高的推广效果。

如下图所示，不同的线条代表不同的检测器，很多检测器在 recall 很高的情况下 （recall>80%），依然没有消除虚假评论产生的实际效应（y 轴）。

水军的影响力

值得一提的是，在上述虚假评论实际影响力的定义中，对于相同评分的评论，精英账户和普通账户对商品声誉（收入）的影响不同。

这个结论可以适用于大部分评分系统。以大众点评为例，vip 用户和大 v 的评论总是能获得更高的曝光度，相信大众点评在推荐餐厅时也会考虑这些精英用户的评价。

精英账户也有可能是水军，关于此问题大众点评已经有相关论文发表，大家可以参考下面的文章：

H. Zheng, M. Xue, H. Lu, S. Hao, H. Zhu, X. Liang, and K. Ross. 2018. Smoke screener or straight shooter: Detecting elite sybil attacks in user-review social networks. NDSS (2018).

之前还有媒体报道有些大众点评用户利用自己的大 V 的身份要挟商家要求免单或打折，不然就给差评。相信也有不少精英用户的评论也带有推广性质，检测这些虚假的精英评论是一个巨大的挑战。

根据笔者观察，精英水军在微博也很普遍，以明星微博转发刷量为例，很多高转发账号都是认证的大 V。另外一个例子是：很多卖减肥药和给第三方 APP 导流的评论下的顶帖，也有很多“微博之星”账户参与。

根据之前提到的回声室效应，有大 V 账户参与的水军活动能够让用户和平台更加信任，更容易影响其决策和算法。

水军与平台的博弈

除了上文提到的水军实际目标和影响力的问题，这篇文章另一个动机是水军的灵活性，即水军会随时调整自己的策略来逃避平台的检测。所谓道高一尺魔高一丈。

但是，许多之前的工作中只假设一个静态的检测场景，其提出的检测器只能检测某一种特定类型的水军。如下图所示，对于一个固定的检测器 （Fraudar），不同攻击策略产生的实际影响不同。

基于水军和平台的实际目标，这篇文章用博弈论中的 minimax game 建模了水军和平台（防御方）的对抗行为。

对于水军这一方，其控制一系列账户，有不同的攻击策略；对于平台这一方，其拥有各种各样的检测器。

第一轮：水军选用一个策略发送虚假评论，平台用一些检测器得到 ensemble 的预测结果，并过滤虚假评论。然后水军会根据该次攻击的效果来更新攻击策略。同理，平台也会根据漏检的虚假评论，来更新检测器的参数。

第二轮：水军用新的攻击策略进行攻击，平台用具有新参数的检测器进行检测和过滤。然后双方更新参数之后在进行下一轮攻防。

这种攻防的形式类似于现实世界中风控平台和黑产之间的博弈行为，双方都在不断升级自己的武器库。

下图的上半部分（Challenges）就演示了水军和平台之间的一轮攻防过程。

训练更稳定的检测器

基于上面的博弈模型，该论文进而提出了一种对抗训练方法 （上图下半部分）。

这种对抗训练方法基于攻击的实际效果，利用强化学习方法，同时更新攻击策略和检测器的参数，通过多轮的对抗训练，最终攻击方和检测方达到纳什均衡，即双方都不愿意改变自己的策略，因为改变策略后的收益很小。

具体来说，对于攻击方（水军），该文章将其攻击行为及获取反馈的方式通过多臂赌博机（multi-armed bandit）建模, 因为攻击方不知道平台的检测机制，只能通过平台的反馈来确定自己攻击的效果。

攻击方通过平台的反馈来优化自己的策略，对于实际效应比较低的攻击策略，攻击方会降低其使用的次数，同理，对于实际效应比较高的攻击策略，在下一轮攻击中，攻击方会增加使用其的概率。

对于防御方（平台），该文章定义的一个成本敏感型（cost-sensitive）损失函数。具体来说，每次检测结束之后，不同漏检的虚假评论会有不同的成本，再结合检测器对这些漏检评论的预测概率，构成了上述损失函数。

如下面公式所示, −CFN(v, r) 是漏检评论的成本，后面的的部分是漏检评论的预测概率。

该文章使用强化学习常用的策略梯度（policy gradient）方法来更新不同检测器的权重参数。

作者将这一套对抗训练的方法称为 Nash-Detect 算法。

实验及结论

该文章在三个不同规模的 Yelp 虚假评价数据集上训练和验证了 Nash-Detect 算法。实验证明 Nash-Detect 能够找到最优的检测器参数，而且具有很好的稳定性和解释性。

利用该文章的提出的框架，针对其他场景的水军问题，我们只需要设计好目标函数，攻击方法，还有检测器，通过运行该算法，就可以在线下找到最优的检测器配置。

该文章同时提到，我们在训练时，应该尽可能地考虑到各种攻击和防御的策略，这样得到的模型在部署时才会有更好的稳定性。

（点击“阅读原文”下载本次报告ppt）

（直播回放：https://www.bilibili.com/video/BV1Jk4y117ff）