【深入蜘蛛】百度蜘蛛IP段详解

大家进行网站日志分析的时候，常见到很多不同IP段的百度蜘蛛，为了方便大家更好的进行日志分析，下面列举了百度不同IP段常见蜘蛛的一些详情情况，及所谓的降权蜘蛛，沙盒蜘蛛，高权重蜘蛛等等

下面的百度蜘蛛IP造访，准备抓取你东西，抓取网页的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*

百度竞价蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185

（百度联盟爬虫），说白了就是百度统计。
61.135.186.*

站长工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42

114站长工具箱（这个是你的网站不稳定时常来的）
119.147.114.213
121.10.141.*

百度图片爬虫
123.15.**.**

这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。
123.125.68.*

抓取内页收录的，权重较低，爬过此段的内页文章暂时被收录但不放出来(意思也就是说待定)，因不是原创或采集文章。（百度网页爬虫（百度图片爬虫）
123.125.71.*

搜外站长工具蜘蛛。
124.248.34.52

也属于百度蜘蛛IP 主要造成成分，是新上线站较多，还有使用过站长工具，或SEO综合检测造成的，没有多大用。
125.90.88.*

百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107

伪装百度蜘蛛IP
180.149.130.*

这个ip段出现在新站及站点有不正常现象后。
183.91.40.144
203.208.60.*

这个ip段不间断巡逻各站，就是路过一下。
210.72.225.*

每天这个IP 段只增不减很有可能进沙盒或K站
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.*

主要是抓取首页占80%，内页占30%，这此爬过的文章或首页，绝对24小时内放出来和隔夜快照的!一般成功抓取返回代码都是 200 0 0返回304 0 0代表网站没更新，蜘蛛来过，如果是 200 0 64别担心这不是K站，可能是网站是动态的，所以返回就是这个代码。
220.181.108.*

代表百度蜘蛛IP来访准备抓取你东西
220.181.7.*
123.125.66.*

这个ip段作为度过新站考察期
121.14.89.*

这个ip段出现在新站或站点有不正常现象后
203.208..60.*

这个ip段不间断巡逻各站
210.72.225.*

这个是百度抓取首页的专用IP如是220.181.108段的ip来的话基本来说网站会天天隔夜快照，绝对错不了的
220.181.108.95

98%抓取首页可能还会抓取其他「不是指内页）属于权重IP段此段爬过的文章或首页基本24小时放出来.
220.181.108.92

抓取内页收录的权重较低爬过此段的内页文章不会很快放出来,因不是原创或采集文章
123.125.71.106

属于综合的。主要抓取首页和内页或者其它页面。属于权重IP段, 抓过的文章或首页基本24小时放出来
220.181.108.91

重点抓取更新文章的内页达到90%,8%的抓取首页,2%其他权重ip段,抓过的文章或首页基本24小时放出来
220.181.108.75

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新
220.181.108.86

抓取内页收录的，权重较低，爬过此段的内页文章不会很快放出来,因不是原创
123.125.71.95
123.125.71.97

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77

抓取内页收录的，权重较低,爬过此段的内页文章不会很快放出来,因不是原创
123.181.108.77

专用抓取首页ip 权重段,一般返回代码304 0 0代表未更新

220.181.108.83

本文由 whchina(江城老温)原创发布，转载请注明出处，江城老温 as a thinker。877313758

【深入蜘蛛】百度蜘蛛IP段详解相关推荐

IP地址、子网掩码、网络号、主机号、网络地址、主机地址以及ip段详解
背景知识 IP地址 IP地址被用来给Internet上的电脑一个编号.大家日常见到的情况是每台联网的PC上都需要有IP地址,才能正常通信.我们可以把"个人电脑"比作"一台 ...
基础知识(一)，ip地址详解、网关、DNS、进制转换、DOS命令、批处理、用户和组管理、telnet、RDP、NTFS、CIFS
基础知识: 企业 >enterprise 专业 >profession 服务器 >server 客户端 >client 浏览器 >Browser B/S 架构:服务器对应 ...
IP协议详解及IPv4与IPv6协议的区别
IP协议是在TCP/IP协议模型中的重要组成部分,目前我们使用最多的是IPv4协议,IPv6协议的用户量也在慢慢增加,苹果在几年之前就已经开始支持IPv6协议了.我们先来了解一下IPv4和IPv6协议 ...
TCP/IP协议详解、TCP三次握手
TCP/IP协议详解:TCP/IP协议详解_王佳斌-CSDN博客_tcp/ip协议认识HTTP协议它是互联网协议(Internet Protocol Suite),一个网络通信模型,是互联网的一个基本 ...
IP命令详解（强大的命令）
IP命令详解(强大的命令) 简介语法结构 OPTIONS选项 OBJECT对象 COMMAND命令 ARGUMENTS IP address ip link 语法 ip route 用法显示路由信 ...
《TCP IP协议详解》思考总结 · 三
前言这一篇文章主要围绕了IP协议,ICMP协议和UDP协议展开,希望可以在这里大概做一个总结,将<TCP/IP协议详解卷一>书中TCP相关章节前面的内容做一个结束,在下一篇文章专心的去 ...
IP地址详解（扫盲篇）
局域网:一般称为内网. 简单局域网构成:交换机.网线.PC(其他IT终端). 交换机:用来组建内网的设备. IP地址 IP地址就是一个唯一标识,是一段网络编码(二进制). IP地址形式:X.X.X.X ...
SOME/IP协议详解「2.0·服务化通信概述」
SOME/IP协议详解「2.0·服务化通信概述」点击返回雪云飞星的SOME/IP协议详解「总目录」 SOME/IP协议详解「2.0·服务化通信概述」 1 SOME/IP服务的组成 2 Method| ...
史上最全的IP地址详解，速来get
史上最全的IP地址详解白在了解虚拟机网络之前,我们首先得了解ip地址是什么? 1.简单局域网的构成局域网:一般称为内网简单局域网的构成:交换机.网线.PC(其他IT终端) 交换机:用来组建内网的 ...

【深入蜘蛛】百度蜘蛛IP段详解

【深入蜘蛛】百度蜘蛛IP段详解相关推荐

最新文章

热门文章