我们在分析访问日志时,往往要判断各种来路,包括各种搜索引擎来路、真实访客来路、直接输入来路、网页推介来路、各种蜘蛛来路等,而对于蜘蛛来路而言,百度蜘蛛又尤为重要分析的部分。那么我们如何识别百度蜘蛛呢?近日,官方给出了两种说法,一种是通过UA来识别,另一种是通过反查IP来识别。

1、通过UA识别百度蜘蛛

查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:

移动UA: Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA: Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

新增渲染UA:

移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2、通过反查IP识别百度蜘蛛

站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:

1)在linux平台验证方法

在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

使用host ip命令反解ip

2)在windows平台验证方法

在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

用nslookup ip命令反解ip

3)在mac os平台验证方法

在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。

您可能对以下文章也感兴趣

php判断百度ua展示不同页面,通过UA或反查IP两种方法识别百度蜘蛛【官方说法】...相关推荐

  1. dede列表页if判断输出html,首页、列表页调用文章body内容的两种方法

    随着源码的开放性,很多SEOER对页面的要求也越来越复杂多样性,很多时候,织梦系统的原有功能并不能满足seoer的页面布置要求,这就需要继续开发页面,做更多的功能调用. 今天徐金华SEO给大家讲的是关 ...

  2. Jsp页面中使用fckeditor控件的两种方法

    fckeditor控件请到官方网站下载[url]http://www.fckeditor.net[/url],本例主要用到FCKeditor_2.6.3.zip.fckeditor-java-demo ...

  3. 两种方法判断是否为移动端访问,跳转到对应wap页面

    随着移动互联网的迅猛发展,越来越多的用户选择使用移动端浏览器访问网页.当用户访问一个网站的pc端页面的时候,往往是非常影响用户体验的.我们希望当用户使用移动端浏览器访问我们的pc端网站的时候,自动跳转 ...

  4. Hexo自定义页面的两种方法

    原文地址:http://refined-x.com/2017/07/10/Hexo自定义页面的方法/. Hexo是静态页博客生成利器,同很多博主一样,前端路上原创技术博客也是使用Hexo生成并托管在G ...

  5. 用两种方法判断男性女性的存储过程

    昨天有一朋友问我了这个问题,题目如下:创建一个名为CheckGender的存储过程,该过程接受一个名称作为其参数并检查名称的前缀为Ms. 还是Mr.如果前缀为Ms.则显示"你输入的是女性的名 ...

  6. iframe-父子-兄弟页面相互传值(jq和js两种方法)

    参考文章: http://blog.csdn.net/u013299635/article/details/78773207 http://www.cnblogs.com/xyicheng/archi ...

  7. 百度服务器自动重启,百度云服务器重启的两种方法介绍

    百度云服务器重启的两种方法介绍 发布时间:2020-04-15 13:39:07 来源:亿速云 阅读:315 作者:小新 本篇文章和大家了解一下百度云服务器重启的两种方法介绍.有一定的参考价值,有需要 ...

  8. jupyter读取图片并展示的两种方法

    1.通用方法:python打开 from PIL import Image display(Image.open("data/20a6a2.png")) #data/20a6a2. ...

  9. MSSQL 判断表是否存在的两种方法

    SQL学习之查询技巧 查询表是否存在的两种方法 方法一 判断系统对象是否存在DECLARE@DbTableFileName VARCHAR(100)SET @DbTableFileName = 'tx ...

最新文章

  1. vlc播放网络流延时参数设置
  2. 第六章 深度学习(上中)
  3. [云炬创业基础笔记] 第四章测试14
  4. 395. 至少有K个重复字符的最长子串
  5. c语言值传递 地址传递 引用传递参数,C++参数传递(值传递,引用传递)
  6. 阿里1682亿背后的协同研发云——云效公共云正式商业化 1
  7. Redis详解(六)------ RDB 持久化
  8. docker file 示例
  9. 一统江湖的大前端(3) DOClever——你的Postman有点Low
  10. java border边框_简单实用的css边框属性border
  11. 阶段1 语言基础+高级_1-3-Java语言高级_06-File类与IO流_04 IO字节流_2_一切皆为字节...
  12. oracle怎样停止到数据,oracle启动和停止
  13. YYText 源码剖析:CoreText 与异步绘制
  14. 24点游戏(C++)
  15. 艾肯micu声卡调试安装教程
  16. PMP - 活动持续时间估算题
  17. 情话套路大全,哈哈哈~~~
  18. 布衣联盟XP SP2之国兴奥运版
  19. 一流在线课程申报表公共计算机,衡阳财经业职业技术学院精品课程建设申报表.doc...
  20. 经典过桥问题的思路解析

热门文章

  1. Android超简单底部导航ImageView+TextView+FramLayout(一)
  2. 【Java】数据交换
  3. 王阳明:人心本是光明之镜 奈何因私欲黯淡无光
  4. 西门子博途安装服务器未响应,西门子博途软件安装问题,急
  5. 网页登录华为云空间,查看空间内容
  6. PHP - 2021年终总结
  7. Java能自学吗?如何自学?(附Java学习路线图)
  8. 前端页面渲染markDown文件
  9. vm 安装unbuntu
  10. matlab神经网络过拟合,BP神经网络过拟合问题