【数据应用案例学习】（一）—— 基于用户画像的腾讯大数据防刷架构

参考 https://blog.csdn.net/u013382288/article/details/80537167

【业务问题描述】：

随着电商行业的迅速发展，各类创业公司层出不穷，这必然伴随着推广活动，优惠卷补贴以及其他获取用户、培养用户消费习惯的活动方式。

但是俗话说得好，Every coin has two sides, 一旦伴随着利益，任何事都会存在利弊，为了做宣传推广，提供了高额补贴的优惠卷，吸引更多的顾客，但是也会滋生一些不法分子——“羊毛党”，他们的存在会影响正常用户的体验及本该享受的资源与好处，因此需要通过一些手段对这类型的“用户”进行侦测，从而为电商减少运营成本，为顾客提供更优质的服务。

【逻辑分析】：

【目标确定】：

遏制刷单的三个环节：

【算法建模】：

【思路】：对账号进行风险评估，包含两个方面（正常账号、异常账号）

采用黑/白双分类风险判定机制，减少对正常用户的误伤
a. 黑分类器判断异常的概率，白分类器判断属于正常的概率
b. 如某个IP是恶意IP，但是如果这是大网关IP，上面可能会有一些正常用户（即降低 β类错误）

【模型】：“三个诸葛亮顶个臭皮匠”

如果使用单一的分类器，那么在面对不同“羊毛党”，可能出现某种把控力度高，而有些不足等情况，因此需要具体问题，具体分析，不能一刀切
针对不同账号类型建立不同的分类器，然后用AdaBoost方法集成。这样可以提高实际运行时的灵活性，比如某个平台虚假账号集中在手机部分，策略上可以加大对手机账号的打击力度。同时子问题划分方式可以将不同账号类型之间的正负数据平衡性问题纳入考虑范围之内
对于单个账号类型，可以使用多个弱分类器bagging的方法集成

【特征选取】

腾讯用户画像——IP画像举例
1）画像维度：
a. 网络属性：代理IP、VPN IP、网关IP、服务器IP
b. 地域属性：国外IP、IP归属地、高危地区
c. 业务属性：登录腾讯业务、登录的腾讯用户量
d. 恶意属性：DDOS IP、腾讯业务作弊IP
2）举例：识别代理IP：
a. 反向探测技术：扫描IP是不是开通了80,8080等代理服务器经常开通的端口，显然一个普通的用户IP不太可能开通如上的端口。
b. HTTP头部的X_Forwarded_For：开通了HTTP代理的IP可以通过此法来识别是不是代理IP；如果带有XFF信息，该IP是代理IP无疑。
c. Keep-alive报文：如果带有Proxy-Connection的Keep-alive报文，该IP毫无疑问是代理IP。
d. 查看IP上端口：如果一个IP有的端口大于10000，那么该IP大多也存在问题，普通的家庭IP开这么大的端口几乎是不可能的。
通过业务建模，识别恶意IP，然后通过上述方法判断是否是代理IP

【扩展其他类似任务的特征选取】

商家特征：商家历史销量、信用、产品类别、发货快递公司
用户行为：用户信用、下单量、转化率、下单路径、浏览店铺行为、支付账号
环境特征（主要是避免机器刷单）：地区、ip地址、设备型号

【实际使用】

对于白用户：正常访问、下单、抢券
对于轻度恶意用户：验证码
对于重度恶意用户：语音验证码、人工核实、后台取消订单等

【数据应用案例学习】（一）—— 基于用户画像的腾讯大数据防刷架构相关推荐

缔元信：用户画像技术助推大数据落地
[原文:IT专家网] 企业要如何快速地从大数据的发展中获益?日前,北京缔元信互联网数据技术有限公司(以下简称"缔元信")产品副总裁.曾长期担任新浪网数据分析部总监的牛程先生做客I ...
用户画像之电商大数据
一. 前言大数据时代已经到来,企业迫切希望从已经积累的数据中分析出有价值的东西,而用户行为的分析尤为重要.利用大数据来分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高产品质量,同时提高用户满 ...
快餐店选址如何用大数据软件了解商圈内用户画像，交通情况
快餐店选址如何用大数据软件了解商圈内用户画像,交通情况大数据分析通俗的讲就是将海量混杂的数据,通过利用各类手段统一协调成一个有机整体,然后以不同的可视化分析工具直观呈现给用户,让其通俗易懂的发现数据 ...
golang 大数据平台_大数据平台是什么？有哪些功能？如何搭建大数据平台？
大数据平台是为了满足企业对于数据的各种要求而产生的. 大数据平台: 是指以处理海量数据存储.计算及不间断流数据实时计算等场景为主的一套基础设施.典型的包括Hadoop系列.Spark.Storm.Fl ...
基于用户画像大数据的电商防刷架构
http://blog.csdn.net/tengxy_cloud/article/details/52576675 一.背景介绍最近1~2年电商行业飞速发展,各种创业公司犹如雨后春笋大量涌现,商家 ...
腾讯防刷负责人：基于用户画像大数据的电商防刷架构
本文由颜国平在高可用架构群所做的分享整理,转载请注明高可用架构公众号ArchNotes. 颜国平,腾讯云-天御系统研发负责人. 一直负责腾讯自有验证码.业务安全.防刷.账号安全等研发工作. 内部支持的 ...
基于用户画像的精准营销决策建议
读研期间,最大的收获就是在导师的引导下,多次带领团队参与政府及公司的合作项目.在项目中增长了实践经验,积累了相关统计知识.学习了模型构建方法及算法编写的优化方式. 趁着现在不忙,把部分可公开.不涉密的 ...
网易微专业python数据分析统计服_40套大数据云计算高级实战精品，数据分析，数据仓库，数据爬虫，项目实战，用户画像， ......
40套大数据云计算高级实战精品,数据分析,数据仓库,数据爬虫,项目实战,用户画像,日志分析,Hadoop,Flink,Spark,Kafka,Storm,Docker,ElaticStack等视频教程 ...
基于用户画像的电影推荐系统论文
摘要在当今互联网时代,用户体验已经成为衡量产品质量的重要标准之一.为了提高用户体验,本文提出了一种基于用户画像的电影推荐系统.该系统通过对用户行为和偏好的分析,为用户推荐个性化电影列表.本文采用Py ...