大数据技术如何有效阻击网络黑产？
最近，互联网行业的“网络安全”事件频发。仅8月就发生了多起网络黑产攻击事件，包括国内某重要通信企业多地子公司遭遇Globelmposter勒索病毒攻击。华住集团被曝旗下酒店约5亿条数据被泄露。新三板公司瑞智华胜假借与运营商合作之名，非法窃取了30亿条用户数据，涉及BAT等近百家互联网公司的用户。
有数据显示，2017年全球企业遭受网络攻击总量较去年增长15%，严重性增加了23%。网络安全事件不仅侵害了用户信息安全，也损害了互联网企业经营安全，其破坏性已经不再局限于传统意义上的物质、财产损失，而是影响到运营、制造乃至人身安全。
APP运营中会遇到哪些网络黑产攻击？
APP运营离不开用户，但是坐在工位上的你，并不知道你的用户是真实的还是机器虚拟的。网上有《Bot Traffic Report 2016》的报告数据显示，2016年机器人流量占全网流量的51.8%，超过人类流量，而其中恶意机器人流量占据了全网流量的28.9%。
有一半的用户都是机器人，想想也是怕人，而更可怕的是那近三成的恶意机器人流量，他们会对运营工作带来什么样的损害？以下是笔者总结的APP运营中最常见的网络风险。
1、竞争对手与不良短信代理商的恶意刷量
很多APP的注册页面，都会要求用户填写真实的手机号，用于注册、登录、找回密码等操作。但页面本身无法判定用户填写的手机号是否为个人真实的手机号，这也为应用的竞争对手与短信代理商提供了可趁之机
——他们会利用黑产的相关工具，向大量手机号码随机发送短信，产生高额短信费用，造成经济损失，也对并没有使用平台但收到验证短信的普通用户造成了骚扰。
2、推广公司刷量
某些APP在产品早期会找专门的推广公司宣传产品。部分不良推广公司会使用自动化工具批量注册，导致团队付出了大量推广费用，却并未吸引真实用户。
3、注水、广告党攻击
相信大家在日常刷一些内容类社区的过程中，偶尔会遇到热门帖子下面大量水军出没、各类账号借机打广告蹭热度的情况。而这些注水、广告党，在注册小号之后，从接码平台获取大量账号登录APP，为了某些营销目的发送大量垃圾广告甚至违法信息，严重影响了平台的正常运营，破坏了社区氛围。
4、羊毛党攻击
APP在推广时会采用现金奖励等优惠活动，招来第一批用户，但是当产品本身有利可图的时候，最先被吸引的就是羊毛党。羊毛党在APP做运营活动时通过钻空子获利，大大地影响了活动的质量和效果。
5、撞库攻击
很多互联网用户为了方便记忆，会将多个平台的账号设置为同一个密码。攻击者利用这一特点，通过自动化工具，获取了用户在部分网站、APP泄露的账号密码，尝试用于其他网站或APP的登录，这对用户的账号安全来说，是重大安全隐患。一旦发生重大事件，APP运营方也有不可推卸的责任。
揭秘：APP防护+大数据有效命中网络黑产
事实上，APP对抗网络黑产的阻击战一直在进行，封IP，验证码，短信验证等都是较为常见的对抗策略。但是由于网络黑产混杂在真实用户当中，APP运营无法精确瞄准他们，往往在对抗中处于被动位置。随着大数据技术的发展，“精准”的概念也被引入“风险控制”领域。目前行业几家“领头”大数据服务商正在积极探索大数据在“反欺诈”方面的应用实践。有了大数据的加持无疑是给APP在反击时加了一副瞄准镜，能够有效地识别电脑对面是真实的用户还是虚假的攻击者。具体作用于以下几个方面：
1、精确地“黑产”画像
在传统APP防护措施里，也会建立行为分析模型用于识别网络黑产，比如：行为聚集，根据用户登录过程行为判断，例如页面停留时间、鼠标焦点、页面访问流程、csrf-token等。设备聚集，通过客户端尤其是手机客户端，上报许多机器信息，识别是否存在伪造设备情况。
然而“网络黑产”通过模仿真人行为，能规避后台的行为分析模型，从而迷惑APP运营者，钻了空子。现在，有了大数据技术的加持，APP对黑产的数据分析有了很大的革新。目前，一些第三方大数据服务商依托自有的海量数据积累和领先的大数据分析技术，结合APP自有数据，用户群标签体系，以及多方权威数据，比如全网黑名单库等进行多维度建模分析，由此产生精准的“黑产”画像。此外，第三方大数据服务商还能将数据分析通过可视化技术展现，便于APP运营者使用。
举个例子，比如“个推”的反欺诈大数据服务，对“黑产”画像进行了便于解读的处理。他们给每个分析维度都附上分值，并最终通过统计手法得出用户风险评分及等级评估，便于APP进行用户分类，进行精准的风控运营。
APP对于风险评分高的用户采用积极的防护措施，在业务上予以限制，减少甚至停止红包与优惠的发放。
APP对于风险评分低的用户酌情减免防护措施。这么做既能保障APP
和用户的安全，也能提高用户体验。
2、高智商的验证防护
APP阻击网络黑产的部署中，设置验证码是最广泛部署的方案。
图形验证码
形式形式多样，例如字母扭曲、汉字识别、移动滑块、图像选择等。普通APP直接接入验证码，有后台分析能力的则在后台审计出现异常时才触发验证码以提升普通用户体验。
短信验证
通过向手机发送验证码，进行真人认证。但这一做法会产生一定短信费用，且用户操作比较麻烦。然而，网络黑产是有办法对付传统验证码防护措施。对于普通验证码，网络黑产会利用机器学习技术，可以有效识别图片中的验证码。对于个别识别难度较高的验证码，黑产也雇佣了一些打码人员进行人工识别。对于短信验证，网络黑产通过手机卡商廉价获取大量手机号，再批量进行验证。
针对这些问题，不少大数据服务公司都提出许多创新的解决方案。一方面，大数据公司利用技术优势（机器学习技术也是大数据技术的一种）产生出机器不易识别的验证码。例如动画验证码，利用真人对动画的识别能力强于机器的特点，在保证良好用户体验的前提下，提升安全性，增加破解难度。另一方面，大数据公司通过多维度数据洞察，发现识别接码平台，有效进行抵制。
3、精准的狙击对抗
当APP面对网络黑产攻击的时候，查封IP地址是比较正面且效果突出的对抗策略。以往封IP的做法是根据黑IP库或同IP发起的请求次数、密码错误率等决定是否一段时间内禁止该IP的请求。但是由于同一个IP地址上会有数万个用户，容易误删用户。因此在无法识别真用户的情况下，APP不到万不得已是不会采用这种办法的。在大数据的帮助下，通过“黑产画像”，不仅可以辨别问题IP，还能洞察出问题IP地址上的“黑产”用户，进行有针对性的封锁行动。
黑产的攻击与APP的防护是矛与盾的对决，也是一场漫长的持久战。APP不仅需要及时跟进黑产新技术，尽可能频繁地更新防护策略，增加黑产的破解成本，还需要与业内的“安全卫士”们并肩作战，保障用户信息安全，提升用户体验，有效净化行业环境，维护网络安全。
参考资料：
澎湃新闻/湃客:华住
5亿条数据泄露，背后的网络黑色产业链究竟是怎样的？https://www.thepaper.cn/newsDetail_forward_2393889
大数据技术如何有效阻击网络黑产？相关推荐
- 极验创始人吴渊：恶意流量威胁新趋势，揭秘网络黑产3大核心本质
记者 | 邓晓娟 出品 | CSDN云计算(ID:CSDNcloud) 天下没有免费的午餐,更没有免费的流量.以电商为例,最疯狂的时候,某电商平台单个获客成本接近400元.作为互联网的稀缺资源,流量的 ...
- 极验创始人吴渊：恶意流量威胁新趋势，洞察网络黑产3大核心本质
天下没有免费的午餐,更没有免费的流量.以电商为例,最疯狂的时候,某电商平台单个获客成本接近400元.作为互联网的稀缺资源,流量的成本不断冲击着企业运营红线. 而就当企业盯着成本.守着转化时,网络黑产已 ...
- 【AI TOP 10】马化腾：AI技术沦为网络黑产新工具；网易区块链项目被传夭折； 人工智能可以让狗跟人说话
原文链接:点击打开链接 摘要: 产业观察 马化腾:AI技术沦为网络黑产新工具 SpaceX的龙飞船完成补给任务成功返回地球 松下或与特斯拉在中国建超级电池工厂 英特尔:修复芯片漏洞的补丁也有漏洞 Fa ...
- 【AI TOP 10】马化腾：AI技术沦为网络黑产新工具；网易区块链项目被传夭折； 人工智能可以让狗跟人说话...
产业观察 马化腾:AI技术沦为网络黑产新工具 SpaceX的龙飞船完成补给任务成功返回地球 松下或与特斯拉在中国建超级电池工厂 英特尔:修复芯片漏洞的补丁也有漏洞 Facebook:调整信息流市值一夜 ...
- 公安部网安局公布2020年十大网络黑产案例
2020年,全国公安机关网安部门发起"净网2020"打击网络黑产犯罪集群战役,重拳打击为电信网络诈骗.网络赌博.网络水军等突出违法犯罪提供网号恶意注册.技术支撑.支付结算.推广引流 ...
- 【安全资讯】公安部网安局公布十大网络黑产案例
作者:Doraemon 来源:FreeBuf 发布时间:2021-01-18 2020年,全国公安机关网安部门发起"净网2020"打击网络黑产犯罪集群战役,重拳打击为电信网络诈骗. ...
- 概述：机器学习和大数据技术在信贷风控场景中的应用
来源:知乎 本文约5400字,建议阅读10分钟 本文简要概述在当前大数据和机器学习技术如何在信贷风控场景下的常见应用. 似乎一夜之间,所有的互联网公司在对外的宣传稿中都会提及自己使用机器学习和大数据技 ...
- 【资讯】辉煌十载！BDTC 2017 中国大数据技术大会在京盛大召开
12 月 7 - 9 日,由中国计算机学会主办,CCF 大数据专家委员会承办,中国科学院计算技术研究所.中科天玑数据科技股份有限公司.CSDN 协办的 2017 中国大数据技术大会(BDTC 2017 ...
- 【安全资讯】2020年手机安全报告：警惕AI、大数据等高科技网络诈骗
作者|佚名 来源|360 发布时间|2021-02-02 近日,360联合中国信息通信研究院发布了<2020年中国手机安全状况报告>(以下简称<报告>),报告从手机诈骗概况.黑 ...
最新文章
- 在线音乐电台Pandora股价暴涨20% CEO肯尼迪辞任
- node2vec: Scalable Feature Learning for networks
- 深度学习100例-生成对抗网络（DCGAN）生成动漫人物 | 第20天
- 计算机辅助教学( ),27075 计算机辅助教学
- 开发语言大爆炸的时代，究竟谁主沉浮？
- JavaFX其他事件
- java线程池执行器_Java线程池ThreadPoolExecutor的使用
- java web 数据库操作_Java Web----Java Web的数据库操作(三)
- 思科服务器如何进入网站,思科路由器怎么进入设置网站
- 大数据如何使用OSM模型和AARRR模型搭建指标体系
- 邮箱激活功能,前台用户注册后需要登录邮箱激活账号才能够登录的,请简述激活过程,重点是安全性
- 测试hadoop服务器NodeManager无法连接ResourceManager问题
- java word 添加水印图片_Java添加Word文本水印和图片水印
- js 数字转为千分符格式
- 苹果6手机服务器停止响应,iphone6被停用怎么办？苹果6被停用解决方法汇总
- 了解JavaMail能够使用Spring Mail API发送电子邮件
- 蓝奏批量自定义域名替换源码
- python 导入模型_scikit-learn系列之如何存储和导入机器学习模型
- 企业发布无线安装APP
- 2. ROS安装(官网教程/简单好用)