robots.txt文件信息泄漏

robots.txt文件泄漏漏洞

漏洞原理及危害

网站根目录下存在robots.txt文件，其内容规定了网络爬虫可爬和不可爬的目录文件。

搜索引擎可以通过robots文件可以获知哪些页面可以爬取，哪些页面不可以爬取。robots.txt文件可能会泄露网站的敏感目录或者文件，比如网站后台路径，从而得知其使用的系统类型，从而有针对性地进行利用。

测试方法

工具获取。通过工具爬虫扫描等方式得到敏感文件的路径，从而找到robots文件；
手工挖掘，直接在域名后输入/robots.txt进行查看。

修复建议

总体修复方式：不使用robots文件保护或隐藏信息；使用模糊规则实现robots；适度提升网站内容命名复杂度。具体如下：

避免在robots规则中包含敏感目录、文件、后台等信息。使用通配符“*”对目标目录或文件范围模糊化；
避免常规的文件及目录命名规则，避免攻击者可轻易猜测文件目录。

robots.txt文件信息泄漏相关推荐

什么是robots.txt文件
一.什么是robots文件 Robots.txt文件是网站跟爬虫间的协议,对于专业SEO并不陌生,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问 ...
什么是robots.txt文件?
一．什么是robots.txt文件? 搜索引擎通过一种程序robot(又称spider),自动访问互联网上的网页并获取网页信息. 您可以在您的网站中创建一个纯文本文件robots.txt,在这个文件中 ...
robots.txt文件的作用及写法（搜索引擎）
robots其实就是指Robots协议,Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion Protocol),网站通过 ...
robots.txt文件的解析及过滤
什么是robots.txt文件? robots.txt(统一小写)是一种存放于网站根目录下的ASCII编码的文本文件,它通常告诉网络搜索引擎的漫游器(又称网络蜘蛛),此网站中的哪些内容是不能被搜索引擎 ...
关于网站根目录下面robots.txt文件的作用
谈到robots.txt文件,首先我们必须了解什么是robots协议,Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬虫排除标准"(Robots Exclusion ...
zblog php robots,zblog的robots.txt怎么写？zblog的robots.txt文件示例下载
robots.txt对于比较seo的站长来说是一个很重要的东西,经常有朋友再问zblog的robots怎么写?本文就来详细说明下. 首先来解释下robots.txt是什么?robots.txt有什么作 ...
robots.txt文件里面怎样屏蔽蜘蛛
robots.txt文件,是每个网站都可以用来跟,遵循robots协议的搜索引擎蜘蛛,进行对话的一段代码. 我们先来看一个列子,让搜索引擎抓取所有的内容,代码如下: User-agent: * All ...
robots.txt文件详解
我们知道,搜索引擎都有自己的"搜索机器人"(ROBOTS),并通过这些ROBOTS在网络上沿着网页上的链接(一般是http和src链接)不断抓取资料建立自己的数据库. 对于网站管理 ...
织梦根目录感染abc.php,织梦SEO优化：织梦dedecms根目录下robots.txt文件设置详解！ - 张俊SEO...
对于dedecms这个建站程序,我想大多数站长都曾经用过,他功能之强大,几乎能秒杀一切内容管理系统,而且所有页面都能生成静态的html文件,对于SEO优化也是相当有优势的,说道SEO优势,就不得不提到 ...
robots.txt文件的Disallow和Allow行的区别
2019独角兽企业重金招聘Python工程师标准>>> robots .txt文件Disallow和Allow设置顺序的不同会产生不一样的效果. 拿个robots .txt语法的例子 ...