一、马蜂窝“造假门”事件所暴露的行业潜规则

上周,估值据传已高达25亿美元、新一轮融资接近尾声的明星独角兽公司马蜂窝陷入了数据造假丑闻。一个由3名年轻海龟组成不足1年、名不见经传的乎睿数据把马蜂窝涉嫌数据造假的行为逐条拎出来在社交媒体上传播。根据乎睿数据团队提供的信息,马蜂窝2100万条真实点评中,有1800万条是通过机器人抄袭自点评、携程等竞争对手;其在马蜂窝上发现了7454个抄袭账号,平均每个账号从携程、艺龙、美团、Agoda、Yelp上抄袭搬运了数千条点评,占到马蜂窝官网声称总点评数的85%。而马蜂窝则发表声明称乎睿数据“歪曲事实”,属于“有组织攻击行为”,已起诉该公司并获得立案。同时,乎睿数据回应,目前已掌握大量证据,期待法院作出的公正裁决,因为“这个案子最终将决定未来中国二十年的互联网走向”。

本次事件的双方你来我往数个回合,一个认为自己铁证如山,一个咬定“明显抹黑”,唯独真正的“受害者”——被“抄袭”了数据的携程、去哪儿等企业集体陷入沉默。因为当前数据造假、爬虫刷屏是司空见惯的行为,已成为互联网行业的客观现状,携程、去哪儿自身的用户点评数据来源都难以解释清楚。目前,案件最终结果尚未定论,但司法界人士认为,马蜂窝诉乎睿数据的案子具有典型意义。该案件一方面反应了当下企业对于大数据基础性资源的激烈争夺,另一方面也暴露出我国在数据权责安全相关的法制法规建设上亟待加强。

二、“潜规则”背后的技术:网络爬虫与反爬虫

1、网络爬虫技术


爬虫最早源于搜索引擎,它是一种按照一定的规则,自动从互联网上抓取信息的程序,又被称为爬虫,网络机器人等。按爬虫功能可以分为网络爬虫和接口爬虫,按授权情况可以分为合法爬虫和恶意爬虫。如今数据资源越来越珍贵,利用爬虫技术爬取有价值的数据,成为很多公司弥补自身先天数据短板、提高自身估值的不二选择。

针对此次马蜂窝事件,很多开发者承认,从其他网站或APP上抓取点评数据非常简单,在技术上没有任何难度,随便一个爬虫工程师就可以做到。有的开发者说,“不涉及到数据库,直接爬页面就行了”、“可以批量处理,通常是机器+人工编辑”。

很多人好奇报道中称马蜂窝2100万条“真实点评”中,有1800万条都是通过机器人从竞品网站抄袭过来的,究竟是如何做到的。邦盛科技机器防御专家在接受媒体采访时说,目前平台均是通过网络机器人技术从其他网站爬取信息,并抄袭到自己的平台。当前大部分的网络机器人是通过直接发起http请求的方式获取网页资源,无js引擎,会进行一定的伪装,并使用动态IP来躲避反爬虫措施。随着网站防护能力的不断提升,网络爬虫会逐渐向浏览器内核型进化,从而具备执行js的能力,并进一步的拟人化,增加被识别的难度。

目前,爬虫技术已经遍布网络,并且越是涉及个人切身利益的地方,越是布满了爬虫。

根据之前国外网络安全公司的研究报告,50%左右的网络流量来自网络机器人,遍布各类网站,包括出行、社交、OTA、电商、招聘、银行、政府等。

例如出行类中的12306票务信息被各类抢票软件疯狂地爬取,高峰时刻每天的访问量达到千亿次。在社交类中,通过网络爬虫技术可以指挥一帮网络机器人关注某人的微博、公众号等,进行点赞、关注或者留言,制造大量的僵尸粉。在电商类中,比如在“比价平台”“聚合电商”和“返利平台”等平台上,当用户搜索一个商品时,这类聚合平台会自动把各个电商的商品都放在你面前供你选择,同样利用的是爬虫技术。

此外,马蜂窝所在的OTA领域同样也是爬虫重灾区。某大型互联网公司运营总监表示,尽管不知道马蜂窝被指控的刷评行为是否属实,但业内出现刷评行为的根本原因是出于竞争压力,是几家在线旅游网站出于对UGC(用户生成内容)市场的争夺,以及维护平台活跃度的需要。

一位从事搜索引擎开发的创业者表示,从其他平台抓数据的目的,就是为了制造流量很大的假象,但爬虫抓数据的行为很容易识别,就看资本方尽调的时候是否严格。

2、反爬虫技术

爬虫与反爬虫领域,一直是互联网最激烈的对抗战场之一。

目前,企业经典的对抗方式大概有几种:图片验证码、滑块验证、封禁 IP、给访问者增加一些加解密运算,耗费爬虫的程序资源等等。除了这些小模块,企业还可以通过 WAF(Web 应用防火墙)来防护,WAF的功能就是通过设置一些规则,拦截掉那些不符合规则的请求。

不过,随着爬虫技术的演进,常规的反爬虫手段已经无法有效阻止爬虫的访问。

据安全专家介绍,近年来通过多维度、多层次的检测,并辅以后端大数据分析来识别网络机器人逐渐兴起并成为主流。利用设备指纹技术从设备维度定位网络机器人,人机识别技术从操作行为判别机器人点击和自动化点击,而后端大数据实时分析技术可根据长周期数据进行复杂规则决策。综合以上手段,可有效侦测爬虫行为,保护网站的信息资产不被爬取和泄露。

此外,人工智能技术的加入让这场对抗爬虫的常规战逐渐升级为“智能战”,而且战线向云端转移。

此前,腾讯云鼎实验室通过深度学习技术对海量真实恶意爬虫流量进行分析,认为将 AI 技术引入反爬虫领域能起到极好的补充效果,将是未来此类对抗领域的趋势所在。目前,腾讯云网站管家(WAF)联合云鼎实验室基于海量真实爬虫流量建立更为通用的爬虫识别模型,已卓有成效。除了腾讯云,还有很多其他的云安全厂商,也开始主推反爬虫的技术。

三、如何解决行业数据造假的普遍现状?

事实上,任何新技术在引导行业变革时,由于自由发展,最开始都会出现一片乱象。唯有相关法律法规的健全,才会对所有从业者行为有所规范,才会对行业的健康发展保驾护航。

目前,国家并没有一项明确法律条文规定爬虫刷屏是否违法。不过,由于搜索引擎的存在,所以爬取已经允许公开的数据应该是合法的。搜索引擎领域一直遵守的是Robots协议。搜索引擎的原理是通过一种爬虫spider程序,自动搜集互联网上的网页并获取相关信息。而鉴于网络安全与隐私的考虑,每个网站都会设置自己的Robots协议,来明示搜索引擎,哪些内容是愿意和允许被搜索引擎收录的,哪些则不允许。搜索引擎则会按照Robots协议给予的权限进行抓取。Robots协议代表了一种契约精神,互联网企业只有遵守这一规则,才能保证网站及用户的隐私数据不被侵犯。

针对此次马蜂窝事件,法律专家认为,如果平台方未经允许把其他平台的客户评论扒来进行商业化运营,这显然是违法行为。

一方面,内容的作者是用户,发表在平台上就构成了平台的一部分。大量使用其他平台未获授权的内容,而且还有竞争关系,就构成了对其他平台的侵害,这违反了《反不正当竞争法》的第二条:经营者在生产经营活动中,应当遵循自愿、平等、公平、诚信的原则,遵守法律和商业道德。

另一方面,发布大量虚假信息,误导消费者,又违反了《消费者权益保护法》中关于消费者知情权的规定。该权益在一般情况下可由消费者协会或者是工商管理部门来代替消费者行使,可以依据相关规定对企业进行查处。

另外,我们还能通过类似的事件来发现司法判决的要旨。2016年一审宣判的“大众点评诉百度案”中,大众点评以百度公司大量抄袭、复制自己点评信息的不正当竞争行为,向上海浦东新区法院提起诉讼。

根据判决书,法院在百度行为是否具有不正当性的分析中提到,点评信息是核心资源之一,具有商业价值。“百度未对大众点评网中的点评信息作出贡献,却在百度地图和百度知道中大量使用,其行为具有明显的’搭便车’、’不劳而获’的特点。”最终判定结果,可想而知是大众点评胜诉,百度违反公认的商业道德和诚实信用原则,给大众点评造成了实质损害,构成不正当竞争。2017年,百度的上诉被驳回,维持了原判。

回看此次马蜂窝事件,如果案情最终能促使相关法律法规得以补充完善,该事件确实将如乎睿数据所说的振奋人心:“这个案子最终将决定未来中国二十年的互联网走向”。

四、爬虫集中所在地,最能反映社会问题

在这张爬虫光顾top50公司排行榜里,除了google、Youtube、ask、亚洲航空这四家企业之外,其他全是中国企业或机关。

细看此图,我们会非常轻易地找到这些企业或机关上榜原因。或许是因为国内东西地域发展不平衡、城乡贫富悬殊太大、公共假期设置不合理等诸多原因,让很多漂泊在外工作的人逢年过节买票回家成为难题,这才把12306推上爬虫榜第一名;或许是我们的信用体系还不是很完善,骗子和老赖还可以继续蒙骗新人,所以才催生了爬虫收集法院公告,形成民间信用记录的服务,于是将“最高人民法院公告查询”推上第八名;此外,由于良好的医疗资源分布不均导致的挂号难、看病难问题,催生的黄牛用爬虫抢号现象问题有多么严峻,也在此表中有所表现。

爬虫是趋利的,而爬虫觉得有利益的地方,往往是我们不忍提及的隐痛。自不用说那些虚假广告、冲榜刷量,背后都有爬虫的影子。当一个行业中所有人都在彼此心照不宣地爬取数据以作商用时,我们无法因此断言爬虫技术有罪或者无罪。真正该反省的,或许应该是制度是否合理、价值观是否正确才对。

独家|数据造假、爬虫与反爬虫战争暴露出哪些行业现状?相关推荐

  1. 爬虫与反爬虫之间的战争

    编者:本文来自携程酒店研发部研发经理崔广宇在第三期[携程技术微分享]上的分享,以下为整理的内容概要.墙裂建议点击视频回放,"现场"围观段子手攻城狮大崔,如何高智商&高情商地 ...

  2. Python爬虫入门教程 65-100 爬虫与反爬虫的修罗场,点评网站,字体反爬之三

    爬虫与反爬虫的修罗场 哪种平台最吸引爬虫爱好者,当然是社区类的,那里容易产生原生态,高质量的数据啊, 你看微博,知乎,豆瓣爬的不亦乐乎. 评论也是产生内容的好地方 生活类点评网站 旅游类点评网站 音乐 ...

  3. Python爬虫和反爬虫的斗争

    我们常接触的网络爬虫是百度.搜搜.谷歌(Google)等公司的搜索引擎,这 些搜索引擎通过互联网上的入口获取网页,实时存储并更新索引.搜索引擎的基础 就是网络爬虫,这些网络爬虫通过自动化的方式进行网页 ...

  4. 爬虫与反爬虫的攻防博弈

    遥想当年,我的第一份实习工作,还就是做的爬虫呢.不知不觉 7 年过去了,如今首例利用爬虫技术非法盗抓数据案都已经被判违法了. 我记得我第一份实习工作,就是做的爬虫,利用爬虫技术,去爬取各种论坛和网站, ...

  5. day 15爬虫与反爬虫与反反爬

    爬虫与反爬虫与反反爬 爬虫的流程: ​ 1.请求网页,获取响应结果 ​ 2.解析网页,提取数据 ​ 3.数据持久化(写入存放位置) 反爬与反反爬 1.User-Agent:将爬虫伪装成浏览器.例如:豆 ...

  6. Python爬虫从入门到放弃(二十二)之 爬虫与反爬虫大战

    爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家? 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序 反爬虫:使用技术手段防止爬虫程序爬取数据 误伤:反爬虫技术将普 ...

  7. 【Python】爬虫与反爬虫大战

    爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家? 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序 反爬虫:使用技术手段防止爬虫程序爬取数据 误伤:反爬虫技术将普 ...

  8. Python之爬虫(二十四) 爬虫与反爬虫大战

    爬虫与发爬虫的厮杀,一方为了拿到数据,一方为了防止爬虫拿到数据,谁是最后的赢家? 重新理解爬虫中的一些概念 爬虫:自动获取网站数据的程序 反爬虫:使用技术手段防止爬虫程序爬取数据 误伤:反爬虫技术将普 ...

  9. 爬虫与反爬虫技术简介

    vivo 互联网安全团队- Xie Peng 互联网的大数据时代的来临,网络爬虫也成了互联网中一个重要行业,它是一种自动获取网页数据信息的爬虫程序,是网站搜索引擎的重要组成部分.通过爬虫,可以获取自己 ...

  10. 爬虫,反爬虫和反反爬虫

    转自:https://blog.csdn.net/yixuandong9010/article/details/75861233 随之大数据的火热,网络上各种网页抓取/爬虫工具蜂拥而来,因而,网页数据 ...

最新文章

  1. Unity 2D游戏开发快速入门(内部资料)
  2. Linux echo命令:给文本着色/背景色/文本闪动
  3. Mac OSX使用VMware Fusion安装windows虚拟机教程
  4. mysql 多列union_Mysql联合查询UNION和UNION ALL的使用介绍
  5. 【系统设计】架构设计说明书
  6. Tips:无法在Windows2012 R2+exchange2010中文版上安装SP3 RU8v2
  7. 小米公司宣布启动网络恶意营销账号专项整治行动
  8. ##CSP认证 201909-2小明种苹果(续)(100分)
  9. 对于android和iphone计划
  10. 使用idea将本地项目上传至github及clone
  11. Wide Deep 模型详解
  12. 201632位matlab下载_Matlab 2016a下载
  13. matlab利用gui谐波分析,matlab中fft谐波分析
  14. 怎么学单片机,怎么入门
  15. html记笔记模板,使用html和css实现康奈尔笔记的模板
  16. 共享服务器切换账号,win7切换用户访问共享、共享文件夹切换方法
  17. 每日一题(4.27 - 5.2)
  18. 业务应用数据库压力过大解决方案
  19. 通常所说微型计算机中的奔3,《计算机应用基础》复习资料
  20. 《扫毒2》火爆来袭,刘德华不要片酬,却要了电影版权,网友:为啥

热门文章

  1. python spss modeler 比较_非常值得收藏的 IBM SPSS Modeler 算法简介
  2. spss modeler模型应用
  3. JavaScript — DOM API
  4. macOS Big Sur 11.7.1 (20G918) 正式版 ISO、PKG、DMG、IPSW 下载
  5. round函数与roundup函数
  6. Windows驱动程序开发 - 初识驱动
  7. php加壳,文件加壳实现(三) —— ZwUnmapViewOfSection
  8. Web--html认识、标签、基本结构
  9. RabbitMQ延迟队列
  10. apache hadoop 2.7.2 yarn node label测试结果