常见博客类网站robots.txt

因为网站有可能变动，所以这些robots.txt都是某一时刻的情况。

csdn

http://www.csdn.net/robots.txt

Sitemap: http://www.csdn.net/article/sitemap.txt
Disallow: /article_preview.html*

博客园

http://www.cnblogs.com/robots.txt

User-Agent: *
Allow: /

中国博客网

http://www.blogchina.com/robots.txt

User-agent: *
Disallow: /

网易博客

http://blog.163.com/robots.txt

User-agent: *
Disallow: /apps/
Disallow: /settings
Disallow: /dwr/
Disallow: /*/dwr/
Disallow: /unblock.do
Disallow: /feedback.do
Disallow: /*\${*}*
Disallow: *jsessionid=*
Disallow: /login.do
Disallow: /qiangbao
Disallow: /error.doSitemap: http://blog.163.com/sitemap.xml

新浪博客

#限制的搜索引擎的User-Agent代码，*表示所有##############
User-agent: *#限制不能搜索的目录，Disallow: 为空时开放所有目录######
Allow: /admin/blogmove/Disallow: /admin/
Disallow: /include/
Disallow: /html/
Disallow: /queue/
Disallow: /config/#开放搜索的目录有####################################
#   /
#   /advice/
#   /help/
#   /lm/
#   /main/
#   /myblog/#搜索引擎User-Agent代码对照表########################
#   搜索引擎                User-Agent代码
#   AltaVista               Scooter
#   Infoseek                Infoseek
#   Hotbot                  Slurp
#   AOL Search              Slurp
#   Excite                  ArchitextSpider
#   Google                  Googlebot
#   Goto                    Slurp
#   Lycos                   Lycos
#   MSN                     MSNBOT
#   Netscape                Googlebot
#   NorthernLight           Gulliver
#   WebCrawler              ArchitextSpider
#   Iwon                    Slurp
#   Fast                    Fast
#   DirectHit               Grabber
#   Yahoo Web Pages         Googlebot
#   Looksmart Web Pages     Slurp
#   Baiduspider             Baidu

1.csdn

常见博客网站的robots.txt相关推荐

z-blog建立博客网站SEO优化细节教程
z-blog博客系统深受广大个人站长喜爱,于是我也跟风做了一个个人博客网站,看人家权重达到权重6,看的实在眼红,于是自己操刀做了一个,但是SEO优化了很久,不尽人意,正好印证了"思想很饱满, ...
Hexo+Github: 博客网站搭建完全教程(看这篇就够了)
本篇教程首次发布在个人博客:sunhwee.com,想要获得最佳阅读体验,欢迎前往,建议用电脑查看教程文档. 文章目录阅读须知博客开源前言第一部分搭建 Hexo搭建步骤 1. 安装Git 2 ...
WordPress博客网站屏蔽搜索特殊关键字和网址，屏蔽恶意特殊关键词的方法分享，附如何屏蔽搜索收录
现在可以使用WordPress更方便地搭建博客网站,但是如果网站具有一定的权重后,一些恶意人员将过来创建恶意内容,例如刻意搜索邪恶关键字,垃圾邮件评论等. 而被搜索引擎抓取到这些关键词的话很有可以导致 ...
宝塔linux_宝塔面板建站基础教程：如何安装宝塔面板及建立博客网站
大多数站长购买服务器特别是 Linux 服务器后一般都会选择安装宝塔面板来管理和维护服务器,但是有些新手站长总是担心自己不懂得如何在云服务器上安装宝塔面板,又或者成功安装了宝塔面板之后不懂得如何通过面 ...
Docker学习总结（6）——通过 Docker 化一个博客网站来开启我们的 Docker 之旅
2019独角兽企业重金招聘Python工程师标准>>> 通过 Docker 化一个博客网站来开启我们的 Docker 之旅这篇文章包含 Docker 的基本概念,以及如何通过创建一 ...
WordPress博客网站搬家和换域名方法
WordPress博客网站搬家和换域名方法方案一开设个人博客的朋友使用WordPress不在少数,那么也难免不了更换空间和域名的情况,由于笔者亲历了一次更换空间和域名的情况,将博客从AAA.com ...
个人博客网站文章添加目录导航
文章出自个人博客https://knightyun.github.io/2020/01/14/website-add-category,转载请申明概述之前有写文章探索如何给个人博客网站添加文章搜索 ...
独立博客网站FansUnion.cn运营2年的经验和教训以及未来规划
今天,我把运营了2年的独立博客网站FansUnion给"归零"了. 2012年6月,我成功搭建了自己的博客网站FansUnion.cn,这是由于自己的不懈努力和时代发展成就 ...
个人博客网站建设_利用Github+Jeklly搭建个人博客网站
题图:by ben.pinto from Instagram 阅读文本大概需要 9 分钟. 在上篇文章<个人博客如何选型?>中讲到,可以利用 Github Pages 来搭建个人博客网站, ...

常见博客网站的robots.txt

常见博客类网站robots.txt

csdn

博客园

中国博客网

网易博客

新浪博客

1.csdn

常见博客网站的robots.txt相关推荐

最新文章

热门文章