对网站服务器日志进行分析

服务器日志的定义：

服务器日志，记录服务器接收客户端处理请求，并记录服务器对这条请求处理结果以.log结尾的文件

服务器日志是服务器自动生成的，一般以日期命名

可以用来记事本直接打开查看

服务器日志的作用

了解搜索引擎抓取网页的相关数据

到访抓取等数据

了解网站内容及链接是否正常

http状态码及爬行收录情况

对网站维护有非常重要的指导作用

根据蜘蛛爬行的频率等，判断蜘蛛喜好及文章质量的高低

服务器日志的获取：

不同的空间存放不一样，我们以西部数码Linux为例

服务器日志读取重点

访问时间

被访问的文件地址

搜索引擎蜘蛛或者用户浏览器

访问者的IP

访问状态码

服务器日志读取：

POST：提交。

GET：访问。

61.139.126.228--[26/sep/2013:16:14:37 +0800]

"POST/install/index.php HTTP/1.0"200 352

"http://tfwx90.gotoip3.com/install/index.php?step=3"

"Mozilla/5.0(windows NT 5.1)

Applewebkit/537.36(KHTML,like Gecko)

chrome/28.0.1500.72 Safari/537.36"

2013年9月26日用户通过/install/index.php页面成功提交了信息（这个是网站程序安装信息）。

读懂iis日志：

date表示记录访问日期。

time访问时间。

cs-method表示访问方法。

常见的有两种：

——GET，就是平常我们打开一个URL访问的动作。

——POST，提交表单时的动作。

cs-uri-stem就是访问哪一个文件资源。

cs-username访问者名称。

c-ip客户端ip。

其中c-ip可以查询对方（运行中输入nslookup可以查询DNS信息）

cs-version客户端协议版本。

——HTTP/1.0

——HTTP/1.1

cs-（User-Agent）用户代理。

——可以分辨是用户还是搜索引擎的蜘蛛。

cs（Referer）引用页网址。

sc-status状态。

200：成功。
301：永久重定向。302暂时定向
403：没有权限。
404：打不开该页面。
500：内部服务器错误。
503：服务器超时。

sc-substatus协议子状态。sc-bytes服务端传送到客户端的字节大小。

1**：请求收到，需要继续处理。

2**：请求已成功被服务器接收、理解、并接受。

——200：请求已成功，请求所希望的响应头或数据体将随此响应返回（可以正常浏览网页）。

3**：完成此请求需要客户端进一步处理。

——301：永久重定向，被请求的资源已永久移动到新位置。

4**：请求包含错误语法或不能完成（客户端错误）。

——404：找不到文件。

5**：服务器执行有效请求失败（服务器错误）。

——500：内部服务器错误。

——503：服务器超时

iis日志读取：

2013-09-24 16:20:53 GET /plus/guestbook.php - 220.181.108.173 HTTP/1.1

Mozilla/5.0+(compatible;+baiduspider/2.0;++http://www.baidu.com/search/spider.html) - 200 0 7351

在2013年09月24日IP为220.181.108.173的百度蜘蛛来爬行/plus/guestbook.php成功。

iis日志读取：

2013-09-24 16:27:50 GET /sure/MissiveShow.asp - 66.249.74.134 HTTP/1.1

Mozilla/5.0+(compatible;+googlebot/2.1;++http://www.google.com/bot.html) - 404 0 1468

在2013年09月24日IP为66.249.74.134的谷歌蜘蛛未找到/sure/MissiveShow.asp网页

功能：能分析多种形式格式日志文件，分析结果形成htm格式的网页。

分析方法：可以看单个日志文件数据，也可以对比连日数据进行分析。

重点数据：概要分析：目标蜘蛛访问次数、停留时间、抓取量。对应问题： 1.访问次数少、2.抓取量少。

光年SEO日志分析系统2.0

优点

针对seo数据分析设计，分析纬度较其他软件更有针对性

快速分析较大的日志文件，每小时分析40G左右的日志文件

能自动判断日志格式

软件容量小（1M多），操作简单、绿色免安装版

缺点：

日志分析的维度还太小

数据分析准确度有待提高

分析日志发现并解决问题

访问次数少

增加外链、更新时间规律

抓取量少

增加文章质量，坚持更新，内部优化做内链

文件夹爬取量低

内部优化，做好内链优化

页面未被抓取或被抓取的页面数较少（数量非次数）

提高文章质量，做好内链优化

隐私文件被抓取

采用robots.txt或者robots.meta标签等限制文件的抓取

修正返回错误的页面

检查相关文件或服务器问题（异常时需关注，情况较少）

返回404的文件要查询是否需要补上文件