宝塔面板下载网站日志，分析百度蜘蛛和谷歌蜘蛛的爬取记录
准备工作：安装好宝塔面板、一个能正常访问的网站、一个在线网站分析工具
1、打开宝塔面板——文件——根目录——www——wwwlogs——域名.log（这个就是网站的日志文件）——选中需要下载的网站日志——更多——下载（这样网站日记就下载好了）
网站日志文件例如：wpa.hefan64.tk.log
其中wpa.hefan64.tk是网站的域名
2、打开网站在线分析工具，这里推荐使用优化之家（网址：https://www.loghao.com/），打开优化之家——蜘蛛访问日志分析——填写网站域名——上传网站日志——开始分析
3、蜘蛛访问日志分析完成后，我们会在下方看到百度蜘蛛、谷歌蜘蛛、搜狗蜘蛛、360蜘蛛等的爬取记录，点击百度蜘蛛，我们会看到详细的蜘蛛抓取时间、蜘蛛IP地址、HTTP状态码等信息。对于网站运营者而言，优化之家是一个非常实用的在线网站分析工具。
4、如果觉得需要下载的网站日志太大，可以对日志进行切割，这样可以避免网站日志文件过大和网站日志文件占用过多磁盘空间的问题。打开宝塔首页——计划任务——填写相关信息——添加任务，例如：
任务类型：日志切割
任务名称：切割日志
执行周期：每星期 周一 1小时
切割日志：选择需要切割日志的网站域名
保留更新：200份
5、常见HTTP协议状态码简介
HTTP协议状态码是由三位数字和原因短语组成，第一位数字表示响应的类别，后面两位无类别。以下是五种常见类别
1xx——临时响应（表示临时响应并需要请求者继续执行操作的状态代码）
2xx——成功（ 表示成功处理了请求的状态代码）
3xx——重定向（ 表示要完成请求，需要进一步操作）
4xx——请求错误（这些状态代码表示请求可能出错，妨碍了服务器的处理）
5xx——服务器错误（这些状态代码表示服务器在尝试处理请求时发生内部错误。 这些错误可能是服务器本身的错误，而不是请求出错）
宝塔面板下载网站日志，分析百度蜘蛛和谷歌蜘蛛的爬取记录相关推荐
- 网站服务器蜘蛛日志怎么看,如何查看百度蜘蛛，google蜘蛛爬取记录？《网站日志分析篇》...
也许各位常常看到别人在群里聊天,某某人的网站出现什么问题了...别人建议查看网站的日志文件,分析蜘蛛的爬取情况.可是如何去分析日志文件却很少有人去提,接下来我会大概介绍一下,如何去分析网站的日志文件, ...
- 如何分析网站服务器日志,小白必看，如何通过查看网站日志分析数据？
一.网站日志的概念 网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件,确切的讲,应该是服务器日志.网站日志最大的意义是记录网站运营中比如空间的运营情况,被访问请 ...
- 走向云计算之Hadoop实际应用网站日志分析
一.概述 网站日志分析是Hadoop应用的一个方向.那么什么是网站日志呢? 网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以.log结尾文件.通过网站日志可以清楚的得知用户在什么 ...
- 网页版本的飞行日志分析平台是_如何进行网站日志分析
展开全部 一.什么是网站日志 1.网站日志是记录web服务器接收处理请求以32313133353236313431303231363533e59b9ee7ad9431333433646436及运行时错 ...
- php 网站日志分析,网站日志数据分析
网站日志数据分析.南京seo优化 1.网站日志中数据量过大,所以我们一般需要借助网站日志分析工具来查看.常用的日志分析工具有:光年日志分析工具.web log exploer.WPS表格等 117.2 ...
- linux 网站流量日志系统,网站日志分析_linux network的技术博客_51CTO博客
1.查看TCP连接状态 netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn netstat -n | awk '/^tcp/ {++S[$NF]} ...
- 宝塔面板备份网站方法
宝塔面板备份网站方法 刚刚发现网站居然已经一个月没有备份了,虽然说有设置自动的推送到oss里面,还是偶尔手动备份一下,毕竟数据存在自己电脑里面是最放心的,因为我是用的宝塔的web面板,今天就介绍下宝塔 ...
- 日志分析系统分类有哪些_什么是网站日志分析需要分析哪些内容
优化网站日志剖析便是针对用户拜访和查找引擎蜘蛛到访咱们的具体状况的剖析.网站日志剖析一般包含:查找引擎的抓取量.蜘蛛来访次数.来的时刻.来访页面.总抓取量.状况码剖析. 具体的如下: 1.网站日志剖析 ...
- 课堂随笔1 - MOOC网站日志分析
大数据Clouder:MOOC网站日志分析 日志,log,事件记录 网站日志:系统日志,程序日志 网站的系统访问日志,有通用格式 网站日志分析: (1)价值/重要性:运行,安全,运营,用户信息 (2) ...
最新文章
- python 合并两个排序的链表
- centos7源码安装mysql报错_CentOS7 下源码安装MySQL数据库 8.0.11
- 金山云服务器内网带宽,性能提升40%！第三代金山云服务器全面覆盖不同企业计算力需求...
- codesys raspberry pi_【Pi讯早餐】2020.11.02 星期一gt;gt;
- android基于plt/got的hook原理
- 大学物理质点动力学思维导图_高中物理思维导图图解
- python google地图_基于Python的离线Google地图操作实现.PDF
- linux 一些好用的软件
- 步科触摸屏程序上传 程序解密步骤方法
- java 6面骰子_Java实现的简单掷骰子游戏示例
- 高版本linux安装gamit,Ubuntu14下Gamit安装(示例代码)
- SQLite3安装与使用（linux）
- 宝塔服务器性能跑分排行榜（CPU/内存/系统）
- 刚拿到手新鲜的offer，给大家分享一下我的面试心得
- EXCEL中的数据分析—直方图
- 摘抄部分经典励志语录: 送给所有心怀梦想的人们
- 活动预告 | 伍鸣博士受邀参加深链财经“2020非共识大会”
- Zbrush 导出置换 然后导入vray 在 3ds max 和 maya 设置
- 宁愿吃生活的苦，也不愿坚持学习
- RD、RT以及VRF是什么？