用织梦DEDECMS建站的站长会发现,DEDECMS自带的robots.txt文件设置很简单(开发者基于每个网站的目录结构和优化目的不同的考虑),并不能完全满足网站的优化要求,那怎样才能结合自己网站的情况,做好robots.txt优化呢?以下介绍一点自己的想法,仅供参考。
适用于未伪静态的DEDECMS网站。
User-agent: *
Disallow: /dede 管理后台目录,需要改名,具体设置后面具体讲
Disallow: /include 程序核心文件目录
Disallow: /member 会员管理目录,有些文件可以开放
Disallow: /plus 插件及辅助功能目录 ,有些文件可以开放,如search.php
Disallow: /templets 默认模板存放目录
Disallow: /data 系统缓存或其它可写入数据存放目录
Disallow: /uploads 上传下载文件保存目录,不想搜索引擎引用图片的话,禁止
Disallow: /images 系统默认模板图片存放目录
Disallow: /index.php 网站默认首页,静态化的话,最好禁止
Disallow: /404.html
Allow: /plus/search.php 开放禁止目录里的具体文件

基本设置就是这样,下面着重讲下后台管理目录和栏目页的设置:
1.dede目录,为了网站安全考虑需要改名。然而改名之后,大家不免疑惑:改了名,在robots.txt文件里怎么设置呢?直接禁止抓取,还是泄露了后台目录,等于改名无效。那么该如何解决这个问题呢?我们可以通过下面的设置解决这个问题,如后台目录为dedecms:
Disallow: /dms
这样我们就能即禁止了搜索引擎的抓取,又不会泄露了后台目录名称。
2.栏目页。有些人会注意到,如果网站不做伪静态优化的话,栏目分页后会有两个链接指向栏目首页,如
/web/和*/web/list_1_1.html,为了网站优化,建议先将栏目分页优化以下(具体做法大家可以在网上找),把首页和第一页的链接改为*/web/的形式,然后在robots.txt文件里做以下设置:
Disallow: /*1.html$
以上就是DEDECMS robots.txt文件的设置,大家可以根据自己网站的情况具体设置。
注意事项:
1.按官方说明设置好目录权限;
2.后台目录改后的名称开头字母和结尾字母不要和其他目录一样;
3.用百度站长工具测试一下robots.txt文件设置是否有效。

织梦有哪些文件需要设置robot的Disallow呢?相关推荐

  1. mysql 织梦 优化,优化分析:分享织梦搭建和后台优化设置

    织梦内容管理系统(DedeCms) 以简单.实用.开源而闻名,是国内最知名的PHP开源网站管理系统,也是使用用户最多的PHP类CMS系统.DedeCMS基于PHP+MySQL的技术开发,支持多种服务器 ...

  2. 织梦php 密码文件,织梦dedecms文章访问密码插件

    本插件主要针对织梦dedecms5.7添加文章访问密码.使用方法如下: 1.下载插件后解压,把里面文件覆盖织梦系统对应文件,需要替换的文件文件如下: /dede/viewarcpwd.php /ded ...

  3. 手把手教您做 dedecms(织梦)网站安全防护设置

    dedecms织梦做为国内网站使用量最多的网站后台管理系统之一,但是织梦的网站漏洞也是非常的多,经常会遇到网站被黑,被挂病毒,那么织梦dedecms该如何做安全防护呢,下面手把手教您做 dedecms ...

  4. 织梦在哪写html,织梦dedecms模板文件不支持html的解决方法

    这篇文章主要为大家详细介绍了织梦dedecms模板文件不支持html的解决方法,具有一定的参考价值,感兴趣的小伙伴们可以参考一下,有需要的朋友可以收藏方便以后借鉴. 熟悉织梦CMS的朋友都知道,织梦的 ...

  5. 修改织梦友情链接文件避免暴露模板路径

    修改织梦友情链接文件避免暴露模板路径 织梦CMS是集简单.健壮.灵活.开源几大特点的开源内容管理系统,是国内开源CMS的领先品牌,目前程序安装量已达七十万,超过六成的站点正在使用织梦CMS或基于织梦C ...

  6. 织梦同步静态文件到服务器,某猫织梦插件-织梦dedecms静态文件生成速度的区块插件...

    经常使用织梦的朋友都可能都知道织梦cms 的静态生成速度有时候让人无法忍受:如果是企业展的几百篇的文章,那当然绰绰有余,但是一般数据量打起来生成速度也会大幅的降低,与同类的其他cms比如说帝国cms, ...

  7. 服务器配置织梦系统,DedeCMS织梦系统设置说明:核心设置

    DedeCms安装目录(cfg_cmspath):系统默认安装目录,默认如果安装在网站根目录即为空,如果安装在子目录需要对其进行设置,例如"cms",一般移动网站目录需要对其进行重 ...

  8. php织梦网站如何设置头,织梦dedecms网站的安全设置教程

    第一.安装的时候数据库的表前缀,最好改一下,不用织梦dedecms默认的前缀dede_,可以改成wq_,随便一个名称即可. (此图片来源于网络,如有侵权,请联系删除! ) 第二.后台登录开启验证码功能 ...

  9. 最新织梦cms漏洞之安全设置,有效防护木马(更新至20190920)

    织梦CMS在安装完成后,新人往往会直接开始开发使用,忽视了一些安全优化的操作,这样会导致后期整个系统安全系数降低,被黑或者被注入的概率极高,毕竟这世界百分百存在着极多的无聊hacker对全网的网站进行 ...

最新文章

  1. Python自定义主从分布式架构
  2. 集合php,PHP问题集合
  3. matlab eps 字体用AI打开乱码的解决
  4. JAVA TCP通信基础篇——对发消息【如何解决输入流假死状态】
  5. OpenCASCADE:Foundation Classes之插件管理
  6. 7-27 御膳房 (5 分)
  7. 【题解】luogu P1941 飞扬的小鸟
  8. Hibernate的懒加载问题
  9. oracle 表空间写文件,Oracle表空间和数据文件管理
  10. 机器学习偏差方差_机器学习101 —偏差方差难题
  11. Keil(MDK)4升级到Keil(MDK)5
  12. QT Buttons系列 中 clicked(bool checked)的使用
  13. Python defaultdict() 的理解
  14. Gitlab-runner(一)安装
  15. Qt5 实现文件复制并在指定路径下创建文件夹
  16. 【NCNN解读】——benchmark部分
  17. 《商业的本质》读后感
  18. 硬件设计——有源/无源滤波
  19. 树形结构的处理——组合模式(二)
  20. 下载蓝盒插件_推荐几款 Chrome m3u8 播放器插件(附下载)

热门文章

  1. 考研日语线上笔记(七):十年真题完型精翻篇(2012-2021年)
  2. Zigbee通讯之开发篇(基于TI 的Z-Stack)
  3. 信用飞疑似信息泄露致用户被骗近4万元,平台借款利率高达75%
  4. Win10管理员用户被禁用,无法登陆系统
  5. kali 将系统文件夹名称设置为英文
  6. android6.0原生壁纸,安卓6.0原生壁纸 androidM6.0自带高清壁纸下载
  7. Oracle数据库:创建和删除视图view,简单和复杂视图,内建视图,topN分析,oracle分页查询
  8. USACO-Section 3.2 Feed Ratios(枚举)
  9. 一些名片上最常用的中英文称呼:
  10. pdf太大怎么压缩大小?pdf文件压缩后还是太大怎么办?