html元素不让蜘蛛抓取,屏蔽网站后台禁止搜索引擎蜘蛛抓取的方法

搜索引擎爬取网页内容的工具我们都称之为搜索引擎蜘蛛，如果希望屏蔽蜘蛛抓取某个页面到搜索引擎服务器中，可以通过robots.txt文件来限制蜘蛛抓取。很多朋友希望屏蔽网站后台禁止搜索引擎蜘蛛抓取，又不希望其他用户了解到网站后台地址，这时候能否通过robots.txt文件来限制呢？

首先，我们来分析一下robots.txt文件的作用以及使用方法。搜索引擎蜘蛛来到站点准备抓取网页内容之前，会先访问该网站根目录下的robots.txt文件,如果不存在该文件，则搜索引擎蜘蛛默认这个网站允许其全部抓取。robots.txt是一个简单的纯文本文件(记事本文件)，搜索引擎蜘蛛通过robots.txt里的内容来判断该网站是否可以全部抓取或部分抓取。

如果你希望网站所有页面都被搜索引擎蜘蛛抓取而不屏蔽任何页面的话，你可以不上传robots.txt文件或者上传一个空的robots.txt文件。(目前大多数的内容管理系统源程序都会自带一个空的robots.txt文件)

robots.txt文件的标准格式如下：

User-agent: *

Disallow: /secret.html

Disallow: /index.php?

Disallow: /qiyecao/

如果你希望屏蔽某个页面seacert.html不被抓取，只需在robots.txt文件中加入Disallow:

/secret.html这行代码(该网页是相对网站根目录的网址，如果不是在根目录下面，请加上/xxxx/secret.html上级目录文件夹名称)。

如果你希望某个文件夹全部不被抓取，你可以通过Disallow:

/qiyecao/语法实现，但是搜索引擎蜘蛛仍然可以抓取/qiyecao.html这个页面。

注意事项：如果某个页面已经被搜索引擎抓取，你修改robots.txt文件屏蔽的话，可能需要1到2个月的时间才能被搜索引擎删除。不过你想希望加快删除速度的话，可以通过google网站管理员工具进行删除。如果你的网站首页是index.asp，最好也不要禁止抓取index.html或者index.php等页面，防止出现抓取错误。

最后解释一下本文开始提出的问题：屏蔽网站后台禁止搜索引擎蜘蛛抓取，又不希望其他用户了解到网站后台地址，这时候能否通过robots.txt文件来限制。事实上，这是无法通过robots.txt文件来限制的，因为robots.txt是一个放在网站根目录的文本文档，任何人都是可以访问的。屏蔽搜索引擎蜘蛛抓取网站后台同时又不让其他访客知道的的方法是在网站后台登陆首页中添加noindex标签。

html元素不让蜘蛛抓取,屏蔽网站后台禁止搜索引擎蜘蛛抓取的方法相关推荐

如何屏蔽网站不需要的蜘蛛
最近查看网站日志发现了好多访问频繁的IP,详细查看后才发现是一些不认识的蜘蛛蜘蛛有以下几种 Baiduspider百度蜘蛛 User-agent: Baiduspider Disallow: / S ...
怎么用python爬取整个网站_5分钟学会Python爬取整个网站
本图文配套视频演示爬取网站的步骤: 设定爬取目标目标网站:我自己的博客,疯狂的蚂蚁 http://www.crazyant.net 目标数据:所有博客文章的 - 链接.标题.标签 2. 分析目标网 ...
阻止搜索引擎抓取网站的工具_使用PHP将抓取的网站转变为搜索引擎
阻止搜索引擎抓取网站的工具 In the previous part of this tutorial, we used Diffbot to set up a crawljob which woul ...
python爬取今日头条后台数据_爬虫爬取今日头条数据代码实现
课程链接讲师的公众号文章:今日头条数据抓取及持久化(完整代码版,含IP和用户代理)mp.weixin.qq.com 课程代码抓取并持久化user-agent工具utils.py 对于爬虫工具,需 ...
python爬虫爬取58网站数据_Python爬虫，爬取58租房数据字体反爬
Python爬虫,爬取58租房数据这俩天项目主管给了个爬虫任务,要爬取58同城上福州区域的租房房源信息.因为58的前端页面做了base64字体加密所以爬取比较费力,前前后后花了俩天才搞完. 项目演示 ...
蜘蛛爬取网页服务器卡死,总结搜索引擎蜘蛛抓取不到页面的原因及改善措施
在诊断过程中,我们会遇到这样的问题.有些网页内容很好,用户可以正常访问.然而,搜索引擎蜘蛛只是不能正常访问和抓取它们,导致搜索结果覆盖率不足,这是百度等搜索引擎和网站的损失.百度称之为"抢夺 ...
系统检测到您正在使用网页抓取工具访问_SEO优化：搜索引擎蜘蛛抓取异常，原来是这个原因！...
有一些网页内容优质,用户也可以正常访问,但是搜索引擎蜘蛛却无法正常访问并抓取,造成搜索结果覆盖率缺失,对搜索引擎对站点都是一种损失,百度把这种情况叫"抓取异常".对于大量内容无法正 ...
搜索引擎蜘蛛抓取配额是什么？
一月份时,Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子:What Crawl Budget Means for Googlebot,讨论了搜索引擎蜘蛛抓取份额 ...
[方法篇](禁止YisouSpider|EasouSpider|EtaoSpider)搜索引擎蜘蛛给网站带来的危害，有效指引爬虫对应的措施...
搜索引擎蜘蛛给网站带来的危害,有效指引爬虫对应的措施[方法篇](禁止YisouSpider|EasouSpider|EtaoSpider) 上一遍文章<搜索引擎蜘蛛给网站带来的危害,有效指引爬虫 ...

html元素不让蜘蛛抓取,屏蔽网站后台禁止搜索引擎蜘蛛抓取的方法

html元素不让蜘蛛抓取,屏蔽网站后台禁止搜索引擎蜘蛛抓取的方法相关推荐

最新文章

热门文章