php判断百度ua展示不同页面,通过UA或反查IP两种方法识别百度蜘蛛【官方说法】...
我们在分析访问日志时,往往要判断各种来路,包括各种搜索引擎来路、真实访客来路、直接输入来路、网页推介来路、各种蜘蛛来路等,而对于蜘蛛来路而言,百度蜘蛛又尤为重要分析的部分。那么我们如何识别百度蜘蛛呢?近日,官方给出了两种说法,一种是通过UA来识别,另一种是通过反查IP来识别。
1、通过UA识别百度蜘蛛
查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:
移动UA: Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA: Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA:
移动UA:Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2、通过反查IP识别百度蜘蛛
站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
1)在linux平台验证方法
在linux平台下,您可以使用host ip命令反解ip来判断是否来自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
使用host ip命令反解ip
2)在windows平台验证方法
在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
用nslookup ip命令反解ip
3)在mac os平台验证方法
在mac os平台下,您可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,非 *.baidu.com 或 *.baidu.jp 即为冒充。
您可能对以下文章也感兴趣
php判断百度ua展示不同页面,通过UA或反查IP两种方法识别百度蜘蛛【官方说法】...相关推荐
- dede列表页if判断输出html,首页、列表页调用文章body内容的两种方法
随着源码的开放性,很多SEOER对页面的要求也越来越复杂多样性,很多时候,织梦系统的原有功能并不能满足seoer的页面布置要求,这就需要继续开发页面,做更多的功能调用. 今天徐金华SEO给大家讲的是关 ...
- Jsp页面中使用fckeditor控件的两种方法
fckeditor控件请到官方网站下载[url]http://www.fckeditor.net[/url],本例主要用到FCKeditor_2.6.3.zip.fckeditor-java-demo ...
- 两种方法判断是否为移动端访问,跳转到对应wap页面
随着移动互联网的迅猛发展,越来越多的用户选择使用移动端浏览器访问网页.当用户访问一个网站的pc端页面的时候,往往是非常影响用户体验的.我们希望当用户使用移动端浏览器访问我们的pc端网站的时候,自动跳转 ...
- Hexo自定义页面的两种方法
原文地址:http://refined-x.com/2017/07/10/Hexo自定义页面的方法/. Hexo是静态页博客生成利器,同很多博主一样,前端路上原创技术博客也是使用Hexo生成并托管在G ...
- 用两种方法判断男性女性的存储过程
昨天有一朋友问我了这个问题,题目如下:创建一个名为CheckGender的存储过程,该过程接受一个名称作为其参数并检查名称的前缀为Ms. 还是Mr.如果前缀为Ms.则显示"你输入的是女性的名 ...
- iframe-父子-兄弟页面相互传值(jq和js两种方法)
参考文章: http://blog.csdn.net/u013299635/article/details/78773207 http://www.cnblogs.com/xyicheng/archi ...
- 百度服务器自动重启,百度云服务器重启的两种方法介绍
百度云服务器重启的两种方法介绍 发布时间:2020-04-15 13:39:07 来源:亿速云 阅读:315 作者:小新 本篇文章和大家了解一下百度云服务器重启的两种方法介绍.有一定的参考价值,有需要 ...
- jupyter读取图片并展示的两种方法
1.通用方法:python打开 from PIL import Image display(Image.open("data/20a6a2.png")) #data/20a6a2. ...
- MSSQL 判断表是否存在的两种方法
SQL学习之查询技巧 查询表是否存在的两种方法 方法一 判断系统对象是否存在DECLARE@DbTableFileName VARCHAR(100)SET @DbTableFileName = 'tx ...
最新文章
- vlc播放网络流延时参数设置
- 第六章 深度学习(上中)
- [云炬创业基础笔记] 第四章测试14
- 395. 至少有K个重复字符的最长子串
- c语言值传递 地址传递 引用传递参数,C++参数传递(值传递,引用传递)
- 阿里1682亿背后的协同研发云——云效公共云正式商业化 1
- Redis详解(六)------ RDB 持久化
- docker file 示例
- 一统江湖的大前端(3) DOClever——你的Postman有点Low
- java border边框_简单实用的css边框属性border
- 阶段1 语言基础+高级_1-3-Java语言高级_06-File类与IO流_04 IO字节流_2_一切皆为字节...
- oracle怎样停止到数据,oracle启动和停止
- YYText 源码剖析:CoreText 与异步绘制
- 24点游戏(C++)
- 艾肯micu声卡调试安装教程
- PMP - 活动持续时间估算题
- 情话套路大全,哈哈哈~~~
- 布衣联盟XP SP2之国兴奥运版
- 一流在线课程申报表公共计算机,衡阳财经业职业技术学院精品课程建设申报表.doc...
- 经典过桥问题的思路解析