CrowdRec：众包环境中，基于信任感知的工人推荐

引自

Ye B , Wang Y .CrowdRec: Trust-Aware Worker Recommendation in Crowdsourcing Environments[C]//2016 IEEE International Conference on Web Services (ICWS). IEEE, 2016.

摘要

在由请求者和工人组成的众包平台上，为请求者发布的人工智能任务（HIT）推荐合适的工人是一个挑战。合适的工人是为发布的HIT提交正确答案的概率很高的人。然而，有四个问题使得现有的方法在推荐合适的工人方面不太有效。首先，在大多数众包平台上，绝大多数员工都有良好的声誉，因此被视为具有同等机会被推荐的同质员工。其次，不诚实的员工可能会通过伪造良好声誉和夸大个人技能来获得推荐。此外，传统的数据稀疏和冷启动问题在众包环境中并存。

为了有效地区分同种类型的工作人员，我们最终计算工作人员在不同请求者发布的不同类型HIT中的表现。为了提高预测员工绩效的准确性，我们提出了一个指标，该指标分别考虑了两个请求者在与他们信任的普通员工进行交易和与他们不信任的普通员工进行交易时的相似性。然后，针对不诚实行为，提出了基于交易的信任模型。针对数据稀疏问题，提出了一种新的信任子网络提取算法（TSE），以发现更多的请求者，为生成建议提供值得信任的意见。最后，结合相似性度量、新的信任模型、新的信任子网提取算法和新的策略，提出了一种新的基于信任的员工推荐方法crowdrec。

关键字：众包；信任网络；员工推荐；协同过滤；

问题定义

为了获得高质量的面向HIT的推荐，我们需要考虑众包环境中存在的两个新挑战和传统推荐系统中的两个经典挑战，也就是同质工人、不诚实行为、数据稀疏和冷启动问题并存的情况。

C1（同质工人）：同质工人有平等的机会得到建议，因为他们都有良好的声誉。例如图1中的工人w1、w2、w3、w4和w5，每个人的审批率都高于0.9。

C2（不诚实行为）：传统的基于信任的推荐方法可能会被不诚实行为欺骗，包括伪造良好声誉和夸大个人技能。例如，在图1中，不诚实的工作者w3可以通过参与不诚实的请求者r3发布的HIT来获得良好的声誉。此外，W3可以在其注册信息中描述自己是熟练工人，以获得更多推荐。

C3（数据稀疏性）：在众包平台上，请求者工作者矩阵中的每个元素都是请求者和工作者之间的事务记录。由于请求者可以处理所有工作人员中的一小部分，因此请求者工作人员矩阵变得非常稀疏。

C4（冷启动）：由于几乎没有关于新请求者和新工人的信息（如图1中的请求者R5和工人W6），因此很难为他们生成建议。

创新点

（1）提出一种方法，根据员工在与请求者进行交易时的过往表现，计算请求者与员工之间的直接信任（DT）。根据DT值，我们区分了同质工作者在不同请求者发布的不同类型HIT中的表现。

（2）提出了一种基于信任强度（SOT）的新型信任模型，该模型测量了两个没有与任何普通员工进行交易的请求者之间的信任。

（3）针对数据稀疏问题，提出了一种信任子网络提取算法（TSE），通过该算法可以找到更可靠的请求者，为生成建议提供意见。

（4）引入相似性度量、新的信任模型、新的信任子网提取方法和新的策略，提出一种新的信任感知工作推荐方法。

研究内容

1. 基于交易网络的信任模型

（1）基于交易的众包直接信任

定义1：直接信任（DT）是请求者认为工作人员可能提交正确的HIT答案的概率。

N 是工作人员提交并由请求者批准的答案数； M 是工作人员在过去与请求者进行的交易中提交的答案总数。

然后，设定阈值，若DT大于阈值，则为信任关系，否则为不信任关系。

（2）行为相似性

定义2：两个请求者之间的行为相似性（SIB）表明他们对工人未来绩效有相同期望的可能性。

SIB由信任相似和不信任相似组成。对于两个请求者，表明他们的相似性来自他们信任的普通工作者，表明他们的相似性来自他们不信任的普通工作者。

（3）请求者行为的修订相似性

（注：即设定两种信任的权重，对相似性进行修正）

直接根据DT计算行为相似性可能会出现类似这样的问题，两个请求者只与一个普通工作者进行了交易，那么两个请求者之间的SIB可能是一个高值。因此，我们通过考虑普通工人的比例来修正两个请求者之间的相似性。

其中，pw 包括一般受信任的工作人员的比例和一般不受信任的工作人员的比例。由于pw可能是非常接近0的小值，因此不能分别直接用作权重。因此，我们使用sigmoid函数将其映射到范围[0,1]。

（4）信任强度（SOT）

在社交网络中，通过询问目标用户的朋友或朋友的朋友来生成推荐。然而，在众包平台上，两个请求者之间没有可用的社会联系。两个请求者通过与其进行交易的工作人员进行连接。

将与普通工作者进行交易的请求者称为直接关联请求者，将未与普通工作者进行交易的请求者称为间接关联请求者。对于一个目标请求者，由于可能很少有直接相关的请求者能够就目标工人的绩效提供意见，因此我们必须考虑间接相关的请求者的意见。因此，我们提出了一种新的度量信任强度（SOT）来度量直接连接请求者和间接连接请求者的可信度。

定义3：请求者和请求者之间的信任强度（SOT）是从以为中心的信任路径推断出来的信任关系。SOT源于出现在所有以为中心的信任路径中的频率以及这些信任路径中记录的相似性。

例如，如果图2中的源请求者，在信任路径tp1=r1→r2→r3→r5→r4中，从r1的角度来看，r3的信任度弱于r2的信任度。因此，我们利ri和rj之间信任路径中所有sib值的乘积，从ri的角度对rj的可信度进行建模。

2.众包中的信任推荐方法

（1）信任子网提取算法（TSE）

为了找出能够对目标员工提供意见的值得信赖的类似请求者，我们必须计算目标请求者r和其他请求者之间的信任强度（SOT）。遍历所有以r为中心的信任路径可以获得从r到任何其他请求者的精确SOT值，但是，遍历的复杂性随边数呈指数增长。因此，我们提出了一种基于随机游走的搜索算法来提取一个复杂度较低的信任子网，从而可以估计可信请求者的SOT值。

当选择一个请求者作为r的下一个时，通过采用sib作为启发式因素，更可能在信任路径中连接两个类似的请求者。直观地说，这种机制减少了通过不诚实的请求者搜索路径的可能性，后者在某些HITs中批准诚实工人的答案，并帮助不诚实工人在其他HITs中获得良好声誉。当达到预先设定的最大搜索次数或大多数搜索请求者的估计信任值收敛时，该算法终止。提取信任子网络的目的是找到请求者r可能信任的请求者，并计算这些值得信任的请求者的SOT值。

（2）冷启动问题的策略

提出了为新注册工人和新注册请求者生成建议的策略，通过选择测试项目和测试HITs，通过测试结果，生成相应的人物属性及关系特征。

（3）推荐方法

首先，我们计算第三节中定义的每对直接连接的请求者的相似性。然后，根据我们提出的信任模型，我们采用TSE提取一个信任子网络，在该子网络中计算可信请求者的SOT值。此外，我们根据请求者是否信任或不信任目标工作者，将其分为两组。结合目标工作者在过去事务中的表现和不同组中的请求者，我们预测目标工作者在发布的HITs中的表现。

工人在HITs中的表现预测如下：

3. 实验与分析

在实验中，我们评估了我们提出的crowdrec，并将其与传统的CF和三种基于信任的推荐方法进行了比较，如下所述。

CF：基于用户的协同过滤推荐方法。

Trustwalker：一种基于信任和项目的推荐方法。

TSR：一种基于信任和项目的协作过滤推荐方法。

MTMRRA：基于多维信任模型的稳健推荐方法。

（1）实验设置

数据集：以真实众包平台的统计结果为基础，模拟合成交易信息：15种不同类型的HITs，100种请求者在发布不同类型HITs时的偏好，800种同种类型的员工在不同类型HITs时的表现。

针对这四个目标问题进行了四个实验：同种工人、不诚实行为、数据稀疏和冷启动问题。评价指标：

覆盖率最简单的定义为：推荐系统能够推荐出来的物品占总物品集合的比例。覆盖率主要针对内容提供者，其中热门排行榜的推荐覆盖率是很低的，所以一个好的推荐系统不仅需要有比较高的用户满意度，也要有较高的覆盖率。

（2）实验结果

A.实验1（针对同质性工作者问题）

就精确度而言，CRWODREC是最好的方法，最低MAE为0.101，最低RMSE为0.122。此外，在覆盖率和F-Measure方面，CrowdRec的最高值分别为91.34%和0.896。面对同种工作人员时，CrowdRec优于所有比较方法，因为CrowdRec区分工作人员在不同请求者发布的不同类型点击中的表现。

B.实验2（针对同质性员工和不诚实行为问题）

与表三的结果相比，我们可以观察到，在MAE和RMSE中，CrowdRec分别提高了12.3%和21.8%，这是因为CrowdRec可以从不信任目标员工的值得信赖的请求者那里获得意见，这提高了CrowdRec预测不诚实员工绩效的准确性。从图4（a）和图4（b）可以看出，当同质工人和不诚实工人共存时，crowdrec是最低MAE 0.079、最低RMSE 0.107、最高覆盖率90.03%和最高F-measure 0.897的最有效方法。

由于CrowdRec是一种信任感知的推荐方法，通过改变模拟众包平台上存在的不诚实员工的数量来验证其稳健性（见表二）。图5（a）和图5（b）描绘了不诚实工人数量增加时不同方法的比较。平均而言，Crowdrec维持最低的RMSE 0.1，比第二最佳方法MTMRRA高11.5%。同时，CrowdRec的覆盖率最高，为90.3%。CrowdRec优于其他四种方法，因为它从提取的信任子网络中获得了更多的意见。

C.实验3（针对同质性工作者、不诚实行为和数据稀疏问题）

可以观察到，crowdrec是最低MAE 0.079，最低RMSE 0.106，最高覆盖率80.21%，最高F-measure0.845的最佳方法。这是因为crowdrec可以通过搜索可靠的请求者来获取稀疏数据集中更有用的信息，这些请求者可能没有与目标请求者进行共同事务处理的工作人员。

对比表六和表五的结果，我们可以发现，CF和三种最先进的方法的覆盖率明显降低。相比之下，crowdrec的覆盖率从80.21%略微下降到79.26%。这是因为CrowdRec采用了两种策略来获得初始连接，这可以为新参与者生成建议。

D.实验4（针对同种工人、不诚实行为、数据稀疏和冷启动问题）

图7（a）和图7（b）比较了同种工人、不诚实行为、数据稀疏和冷启动问题并存时不同推荐方法的结果。可以看出，CrowdRec的MAE、RMSE最低，且覆盖率、F-Measure最高，算法性能最佳。

综上所述，当同种工人、不诚实行为、数据稀疏和冷启动问题并存时，Crowdrec在准确性和覆盖率方面明显优于传统的CF推荐方法和基于信任的三种最先进的推荐方法。

总结

在同质工人、不诚实行为、数据稀疏和冷启动问题并存的情况下，推荐合适的工人受到HIT。在Crowdrec中，我们提出了一种新的区分同质工人的方法，一种新的相似性以提高预测的准确性，一种新的信任子网络提取方法来解决不诚实行为和数据稀疏问题，以及冷启动问题的新策略。实验结果表明，在准确性和覆盖率方面，Crowdrec明显优于传统的CF推荐方法和三种最先进的基于信任的推荐方法Trustwalker、TSR和MTMRRA。