网站蜘蛛日志分析解读，SEO站长自查诊断

什么是网站日志

通过百科我们也可以了解到，所谓的网站日志指的就是记录web服务器接收处理请求以及运行时错误等各种原始信息的以log结尾的文件。这里站长们要注意的是文件以log为后缀，只需将其下载下来使用工具分析即可。

网站日志怎么获取

不同的服务器和虚拟主机存放的log文件位置还是有一定差别的，但一般获取方法还是比较简单的，如博主服务器安装的是宝塔面板，网站日志文件存放在文件-wwwlogs文件夹中，找到对应网站的log文件然后下载下来。

网站日志分析工具

网站日志分析工具是有很多的，比如在线的网站日志工具拉格好(http://www.loghao.com/)，另外博主常用的是光年网站日志分析工具。这些工具大同小异，文件和工具都有了，下面我们就深入探究下如何分析这些网站数据。

　　常见网站蜘蛛有哪些

BaiDu Spider：即是代表百度搜索引擎蜘蛛，从上图可以看到尹华峰SEO博客的搜索引擎爬虫来自百度，占比52%

Sogou Spide：代表搜狗搜索引擎蜘蛛，访问次数虽少，但是抓取总量却很大，这让博主发现了其中的猫腻，原因就是本站某个栏目被人攻击，挂了大量给搜狗搜索引擎蜘蛛抓取的黑链。

谷歌蜘蛛：表示Google搜索引擎蜘蛛，做谷歌SEO的站长需要多加注意。

Alexa Spider：代表网站全球排名搜索引擎蜘蛛，该爬虫主要分析网站的访问流量，并统计网站全球排名，当前本站在全球排名610481位。

除此之外，其实还是有其他搜索引擎爬虫的，如Yahoo蜘蛛、360Spider等，以上只是本站的搜索引擎蜘蛛概要分析，因为刚换服务器的原因，目前蜘蛛抓爬的数据体量是比较小的，仅供参考。通过日志工具主动与搜索引擎蜘蛛沟通，我们还可以进一步分析网站抓取情况和状态码分析。

　　网站蜘蛛日志分析解读

目录抓取：可以分析网站目录的抓取量，了解搜索引擎蜘蛛的爱好。通过上图可以看到Sogou Spide主要抓取了我的/kjzx/目录，同其他目录对比抓取量比较大，出现异常。于是我进入网站根目录进行查看，发现了挂黑链的脚本文件，这也印证了博主前面的判断。

页面抓取：页面抓取量是比较稳定的，没有哪个页面抓取量大而出现异常，这里博主就不再截图，但博主发现抓取量最大的页面就是robots.txt文件，所以站长们设置好robots规则也是很重要的。

　　状态码返回分析解读

200代表搜索引擎蜘蛛访问成功；

404代表页面无法访问；

301代表页面跳转；

304代表客户端已经执行了GET，但文件未变化；

500状态码表示服务器遇到错误，无法完成请求；

403状态码表示服务器拒绝请求。

以上是本站遇到的一些蜘蛛状态码(更多状态码请参考：网站日志常见HTTP状态码分析)，站长尤其是查看非200值的状态码，分析这些异常的URL路径，很容易就找到网站症结之所在。

网站日志的作用

网站日志分析对SEO站长来说应该是必备技能，无论是新站还是老站，网站日志分析都有很大的作用。通过日志分析了解网站蜘蛛抓取频次、是否被关进沙盒、网站是否被K、查找异常抓取等。

结语：通过网站蜘蛛日志分析，SEO站长可以很好自查诊断网站是否出现问题，不仅可以了解网站的健康状况，通过抓取量还可以进一步了解搜索引擎蜘蛛的爱好，清楚网站内容运营的重心之所在，也可以起到很好的指导作用。

网站蜘蛛日志分析解读，SEO站长自查诊断相关推荐

宝塔面板分析网站蜘蛛日志？
相信每个站长都会关心网站日志,这是个人站长必备的技能.这里主要给大家说说宝塔面板下是怎么查询下载和进行网站蜘蛛日志分析. 宝塔面板下载网站蜘蛛日志宝塔面板下点击侧边栏的[文件],然后在右侧就可以看到 ...
网站蜘蛛日志如何分析？对优化有用吗？
平时我们在做网站优化的时候,想知道有哪些搜索引擎平的蜘蛛来访问过咱们网站,或者是网站为啥不收录了等一些原因导致网站出现了问题!那么这个时候咱们就可以通过网站日志下载下来,查看里面的各种蜘蛛来路,进行分 ...
多网站批量蜘蛛日志分析工具
网站的状态可以用日志来进行分析,蜘蛛日志分析工具通过可视化的数据曲线,方便我们对我们多个站点的蜘蛛爬取情况和行为进行分析,蜘蛛日志可以反映一个网站的状态,每天对我们的蜘蛛爬取情况进行了解和分析有助于我 ...
一款非常好用的网站访问日志分析工具,360星图
原文转载自:豫章小站 » <[分享]360星图,一款非常好用的网站访问日志分析工具> 广大站长有没有这样一个体验,网站流量异常,要通过网站日志来分析的时候非常头疼,日志文件很大,一条一条来 ...
网站流量日志分析流程及架构
网站流量日志分析流程及架构 1. 数据处理流程网站流量日志数据分析是一个纯粹的数据分析项目,其整体流程基本上就是依据数据的处理流程进行.有以下几个大的步骤 : 数据采集数据采集概念,目前行业会有两 ...
网站流量日志分析系统
网站流量日志分析系统网站流量日志分析-01 网站流量日志分析的意义通过分析用户的行为数据让更多的用户沉淀下来变成会员赚取更多的钱. 如何进行网站分析流量分析质量分析在看重数量的同时需要 ...
网站服务器日志分析,如何进行网站日志分析（理论篇）
搜索引擎通过蜘蛛爬行抓取网页,通过分析网站日志,可以了解蜘蛛在网站中的抓取规律,以及网站在结构.收录.内容更新等方面存在的不足. 在进行日志分析时,一个可以事半功倍的工具是必不可少的,例如光年日志分析 ...
蜘蛛日志分析工具_如何分析蜘蛛日志？
什么是蜘蛛日志? 所谓的蜘蛛日志就是当搜索引擎向服务器发送请求时产生的访问记录文件. 每个网站都会有日志文件,但是很多时候,日志文件只有在网站出现问题的时候才会被查阅.在seo方面,日志文件是更容易被 ...
关于百度蛛蛛日志分析对SEO的作用
针对依面天小游戏网站在百度收录量不断减少的问题,近日通过对APACHE的日志分析得出,百度基本上是10天左右才来访问一次,并且不收录任何数据,但是GOOGLE是每天都来访问一次,收录小量数据,现在要 ...

网站蜘蛛日志分析解读，SEO站长自查诊断

网站蜘蛛日志分析解读，SEO站长自查诊断相关推荐

最新文章

热门文章