这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的 www.com-edu.cn 的完整使用日志中有这样的记录: (IIS 日志文件位置: c:/windows/system32/LogFiles/W3SVC XXXXXXXX /ex yymmdd .log) 220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GE

这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的站的www.com-edu.cn的完整使用日志中有这样的记录:(IIS日志文件位置:c:/windows/system32/LogFiles/W3SVCXXXXXXXX/exyymmdd.log)

220.181.38.198 - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+

(+http://www.baidu.com/search/spider.htm)"这就说明蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,都可以查到。

+;+.NET+CLR+1.1.4322;+.NET+CLR+2.0.50727;+CIBA;+.NET+CLR+3.0.04506.648;+.NET+CLR+3.5.21022) 200 0 0 2009-05-07 01:07:48 W3SVC1774326157 110.110.110.39 GET /images_index/icon_gaozhong.jpg - 8077 - 110.110.110.36 Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.2;+Trident/4.0;+GTB6;+Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+NT+5.1;+SV1)

其他经常碰到的HTTP状态码列表如下:

HTTP状态码摘要说明

成功2××成功处理了请求的状态码。200服务器已成功处理了请求并提供了请求的网页。204服务器成功处理了请求,但没有返回任何内容。重定向3××每次请求中使用重定向不要超过5次。301请求的网页已永久移动到新位置。当URLs发生变化时,使用301代码。搜索引擎索引中保存新的URL。302请求的网页临时移动到新位置。搜索引擎索引中保存原来的URL。304如果网页自请求者上次请求后没有更新,则用304代码告诉搜索引擎机器人,可节省带宽和开销。客户端错误4××表示请求可能出错,妨碍了服务器的处理。400服务器不理解请求的语法。403服务器拒绝请求。404服务器找不到请求的网页。服务器上不存在的网页经常会返回此代码。410请求的资源永久删除后,服务器返回此响应。该代码与404(未找到)代码相似,但在资源以前存在而现在不存在的情况下,有时用来替代404代码。如果资源已永久删除,应当使用301指定资源的新位置。服务器错误5××表示服务器在处理请求时发生内部错误。这些错误可能是服务器本身的错误,而不是请求出错。500服务器遇到错误,无法完成请求。503服务器目前无法使用(由于超载或停机维护)。通常,这只是暂时状态。

本文原创发布php中文网,转载请注明出处,感谢您的尊重!

蜘蛛可以查php内容吗,如何查看spider蜘蛛,那么怎么才能知道蜘蛛是否来过你的站?...相关推荐

  1. 员工入职背景调查需要查哪些内容?

    最早的职业背景调查起源于20世纪80年代的美国,兴起的一个重要原因是当时劳动仲裁案件大量增长,企业对于用人越来越谨慎,更想客观真实的了解候选人多维度信息.就中国内地而言,截至2020年末,全国立案受理 ...

  2. js实现加载所有内容 点击查看更多

    功能:过长文章内容实现 通过查看更多实现 js代码直接套, 示例CSS 请忽视, 具体根据需求设置 <!DOCTYPE html> <head><meta http-eq ...

  3. 论文查重会查哪些内容?

    网络科技的飞速发展给我们的生活带来了不小的便利,也带来了一些麻烦,现在不管是网站还是自己写文章,愿意原创的人越来越少,基本上都是抄袭或者直接采集,论文就是抄袭的重灾区.针对这一情况,各高校也出台了一系 ...

  4. 搜索引擎(蜘蛛)抓取内容规则

    搜索引擎spider爬虫(蜘蛛) 其实当你了解了搜索引擎的工作流程.策略和基本算法后,就可以在一定程序上避免因为不当操作而带来的不必要处罚,同也可以快速分析出很多搜索引擎搜索结果异常的原因.有搜索行为 ...

  5. 论文查重是查哪些内容?

    也许每个人都知道查重,但查重具体查什么大家可能不知道,我们可以通过论文查重报告知道论文查重是查哪些内容,今天小白你给大家详细讲解. 论文查重查重是查什么? 1.首先,论文的摘要.文本和结尾是整篇论文的 ...

  6. 论文查重不查哪些内容

    我们需要考虑的不是论文不查那些内容,我们需要了解的是论文会查那些内容,这样我们在上传给系统检测的时候才能避免踩到雷区,也好帮助我们顺利通过论文查重,那么下面我们一起来看看论文查重的内容. 1.对比数据 ...

  7. HR背调到底要查什么内容?

    现在越来越多的企业为招聘到企业合适的人,并规避企业的用工风险,背景调查已成为招聘环节必不可少的一项.那么,背景调查到底要查什么内容呢?如何背调? 今天就跟才易理的小编带着以上问题一起来了解一下背景调查 ...

  8. wordpress网站隐藏内容付费阅读(查看)/付费下载插件

    WordPress文章内容资源收费查看/下载插件 含vip会员功能/联盟推广/支付宝/财付通/贝宝/网银付款(v9.6.4),wordpress内容付费插件,内容扫码支付可见插件. wordpress ...

  9. 不同局域网内的主机互访(海蜘蛛实现linux虚拟机与windows虚拟机不同网段间互访)(海蜘蛛的安装与使用)超详细

    不同局域网内的主机互访(海蜘蛛实现linux虚拟机与windows虚拟机不同网段间互访) 1.设置海蜘蛛的两个网络适配器网络连接为特定虚拟网络 2.编辑VM虚拟网络 3.将两个虚拟机设置为静态IP 3 ...

最新文章

  1. 老司机 iOS 周报 #24 | 2018-06-25
  2. oracle中or的替函数,Oracle常用内置Or自定义函数-SQL宝典
  3. PP模块: 最简单的混合生产方式
  4. HBase在CentOS上分布集群安装
  5. 【NLP】Word2Vec详解(含数学推导)
  6. Fanout交换器-编写消费者
  7. qdu_ACM集训队3月5号组队训练
  8. 2019 ICPC Asia Nanchang Regional And and Pair 组合数学
  9. 实例61:python
  10. pycharm新建py文件时,自动补充文件头注释信息
  11. JS 网页自动加载js函数
  12. 计算机机房新风机管道布置要求,新风系统管道布置—新风系统管道布置连接方法介绍...
  13. 如何修改UG标题文字
  14. 系统动力学 matlab,MATLAB引擎在系统动力学仿真中的应用.pdf
  15. java编程删除文本框_Java获取和删除Word文本框中的表格
  16. 深度分析何恺明新作MAE:通向CV大模型
  17. 关于音频采样率,音频帧率,每次采集多少字节的理解
  18. [Android Pro] proguard.cfg 配置文件
  19. 从0到1编写个人博客项目使用springboot+vue(前后端分离) 到 购买服务器上传项目 到 GitHub开源项目、此过程下所遇问题及解决方法,至少你帮你少走70%弯路
  20. 北京自考中心平台登陆方法信息整理

热门文章

  1. 子弹短信APP用户体验及界面设计浅析01
  2. Crust 的2020年终总结 :测试网达1000节点,基本完成协议开发
  3. 基本的SELECT语句
  4. LeetCode题解(1507):转换日期格式(Python)
  5. C语言实现剪刀石头布小游戏
  6. Windows 新系统打开老版的系统信息界面
  7. 《计算机系统与维护》— CPU的散热与选购
  8. 解决小米,魅族手机打开悬浮窗口问题
  9. 这个图可以搜藏,嘎嘎嘎
  10. Objective-C 非主流代码技巧