Wordpress如何正确书写Robots.txt

首先我们来查看一个朋友的robots.txt，显然他的是不曾修改的，用的还是Wordpress默认的。

这种缺陷是巨大的，因为没有屏蔽/wp-content/和/wp-includes/等诸多文件，假以时日，会有很多后台文件都被收录的，像这样

所以我们需要更加完整的robots.txt内容，防止百度蜘蛛乱抓取收录。下面我们欣赏两个网友的robots.txt，大家都可以参考。

其一

 User-agent: *Disallow: /wp-admin/Disallow: /wp-content/Disallow: /wp-includes/Disallow: /*/comment-page-*Disallow: /*?replytocom=*Disallow: /category/*/page/Disallow: /tag/*/page/Disallow: /*/trackbackDisallow: /feedDisallow: /*/feedDisallow: /comments/feedDisallow: /?s=*Disallow: /*/?s=*\Disallow: /*?*Disallow: /attachment/

其二

    User-agent: *Disallow: /wp-*Disallow: /qiuye-*Disallow: /*replytocom=Disallow: /*?iapolo_co*Disallow: /page/*?iapolo_co*Disallow: /page/?iapolo_co*Disallow: /?iapolo_co*Disallow: /?ad=daDisallow: /?iapolo.comDisallow: /daohang/Disallow: /wp-login.php?*Disallow: /?_=*Disallow: /?p=*Disallow: /api/*Disallow: /*.js$Disallow: /*.css$Disallow: /*.eot$Disallow: /*.svg$Disallow: /*.ttf$Disallow: /*.woff$Disallow: /*.json$Disallow: /page/1Disallow: /shuoshuo/Disallow: /jiayi

我们都可以作为参考，大家可以根据上面的删除不要的，然后上传到网站根目录，然后去百度站长平台，进行检测，如下图，js文件百度蜘蛛将不再抓取

更多文章：http://liuyanzhao.com/2207.html
本文地址：http://liuyanzhao.com/3275.html
转载请注明

Wordpress如何正确书写Robots.txt相关推荐

网络爬虫排除协议robots.txt介绍及写法详解.
以上内容转载自:http://www.xgezhang.com/serach_engine_robots.html Robots协议的全称是"网络爬虫排除标准"(Robots Ex ...
robots.txt学习笔记----以亚马逊Github为例
目录: robots.txt简介亚马逊--robots.txt分析 Github--robots.txt分析总结 robots.txt简介介绍 robots.txt(统一小写)文件位于网站的根目 ...
robots.txt 指定 Sitemap 和robots Meta标签
robots.txt 指定 Sitemap 和robots Meta标签 robots.txt 指定 Sitemap 和robots Meta标签 http://www.mp322.com/robot ...
WP博客wordpress,robots.txt写法
Robots.txt是放在博客根目录给搜索引擎看的一个文件,告诉搜索引擎什么链接能收录什么链接不能收录以及什么搜索引擎能够收录,在SEO中有着举足轻重的作用. WordPress本身就有很多地方是非添 ...
【谷歌推网页爬虫新标准，开源robots.txt解析器】
https://www.toutiao.com/a1638031116246019 [谷歌推网页爬虫新标准,开源robots.txt解析器] 对于接触过网络爬虫的人来说 robots.txt 绝不陌生 ...
谷歌推网页爬虫新标准，开源robots.txt解析器
鱼羊发自凹非寺量子位报道 | 公众号 QbitAI 对于接触过网络爬虫的人来说 robots.txt 绝不陌生,这一存放于网站根目录下的 ASCII 码文件标明了网站中哪些内容是可以抓取的, ...
robots.txt文件详解
我们知道,搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理 ...
Robots.txt 协议——百度之星
题目描述搜索引擎是靠 Web Robot (又称 Spider )来收集互联网上浩如烟海的网页的. Spider 就像一个旅行家一般,不知疲倦地奔波于万维网的空间,将遇到的页面收集下来供搜索引擎索 ...
rebots css,我的robots.txt中涉及到.htaccss文件的奇怪https/http错误
我设置了一个网站,就像我之前做过很多次,但是当你真的在谷歌网站上得到一个erorr.我的robots.txt中涉及到.htaccss文件的奇怪https/http错误 clrhorizon.com/ ...
搜索引擎蜘蛛及网站robots.txt文件详解
搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理者和内容提 ...

Wordpress如何正确书写Robots.txt

Wordpress如何正确书写Robots.txt相关推荐

最新文章

热门文章