随心所“语”之 3B大战：robots协议问题

最近，3B又开打了，大概事情是这样子的：百度利用robots协议，屏蔽360搜索（似乎不正当，我不知道）；360搜索就强行抓取百度不给抓的内容。

我作为软件开发人员，谈下我的看法。

百度这么做固然不对，但是，360就可以因为百度这么做了，就不遵守robots规定了吗？

我看了下评论，许多人都认同360的做法，我对此表示极度的遗憾：在中国，经常做这种无视规定的事情，最明显的就是GNU协议的遵守——http://bbs.csdn.net/topics/390474157(大家可以看下去，我只能用“伤心”来形容我的心情了)。这个帖子上，作为软件开发人员，至少有一半人都觉得，可以无视gnu协议。那么，更别说不是软件开发人员，估计这样想法的人就更加的多了。我一直认为——既然用了别人的东西，就要遵守别人的规定：这个是最基本的。（对此，我真很是遗憾。。。。）

所以，同样的，既然有了robots协议，我们就应该遵守。

至于百度利用robots进行不正当竞争，我觉得这和“是否遵守robots协议”这是两个不同的事情，不应该混为一谈。你不能说因为别人做坏事了，所以你也可以做坏事！

随心所“语”之 3B大战：robots协议问题相关推荐

闲聊Robots协议
其实,我了解搜索引擎方面的知识是比较晚的~~~对robots协议还是来自2012年的"3B大战"也就是360和百度之间的一场争论!! 360呢,在2012年推出了自己的一款搜索引擎 ...
robots协议是什么？对网站SEO有什么好处？
在网站优化中,robots协议一直是优化人员重视的细节,想要网站能够有更高的抓取和排名,此协议也起到很大的作用,那么robots协议是什么呢?它对网站的SEO有什么作用和好处呢?下面一起来了解一下. ...
“盗”亦有道，关于robots协议
robots.txt robots协议(全名为"网络爬虫排除标准")(Robots Exclusion Protocol)网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些 ...
丑憨批的爬虫笔记2（爬虫引发的问题+robots协议）
去搜 user-agent!!!! referer!!!!! 网页中怎么查看请求头header信息点一下Name里的东西就会出来规模大小分类 robots协议 User-agent: * /// ...
3B大战引来的担忧：百度重仓云计算拟摆脱困局
搜索之困张昊实际上"3B大战"爆发地并不那么突然,至少在不同的场合,李彦宏.周鸿祎(微博)和王小川这三个当事者都或明或暗地预言了这场战争.但是在这个节点,以这种方式发起,的确让 ...
python遵循什么协议_《Python网络爬虫》2.3 Robots协议的遵守方式
在实际操作中我们这样的爬虫该如何遵守robots协议呢? Robots协议的使用对于任何网络爬虫来讲,它应该能够自动或人工的识别robots.txt文件,根据文件的内容再进行爬取. 即使不写这样的代 ...
【K哥爬虫普法】百度、360八年乱战，robots 协议之战终落幕
我国目前并未出台专门针对网络爬虫技术的法律规范,但在司法实践中,相关判决已屡见不鲜,K哥特设了"K哥爬虫普法"专栏,本栏目通过对真实案例的分析,旨在提高广大爬虫工程师的法律意识,知 ...
Python爬虫——爬虫是什么都可以爬的吗？Robots协议！
Python爬虫--爬虫是什么都可以爬的吗? 初识"爬虫"这个词时,想必大家都会和我一样,认为"爬虫"就是爬取网站上的各种内容,可以抓取网站的信息为我们所用. ...
爬虫：Robots协议
Robots 协议也称作爬虫协议.机器人协议,它的全名叫作网络爬虫排除标准( Robots Exclusion Protocol ),用来告诉爬虫和搜索引擎哪些页面可以抓取,哪些不可以抓取它通常是一 ...

随心所“语”之 3B大战：robots协议问题

随心所“语”之 3B大战：robots协议问题相关推荐

最新文章

热门文章