Robots.txt泄露敏感信息

Robots是什么？

Robots是网址和爬虫之间的协议，网站通过robots协议（robots.txt）来告诉搜索引擎哪些页面可以进行抓取。

搜索蜘蛛在访问一个网站时，会首先检查站点跟目录下是否存在robots.txt，之后按照文件中的内容规定来确定访问的范围。

Robots.txt 泄露敏感信息的原因是什么？

robots.txt文件本身没有什么漏洞，它是告诉搜索引擎蜘蛛哪些文件可以爬行，哪些不可以爬行。而我们一般在写robots.txt文件的时候，为了防止搜索引擎蜘蛛的爬行，会写入路径。然而robots.txt大多会定义网站的后台地址或数据库地址，可能会泄露敏感信息。

扫描robots漏洞的方式：

可以通过使用工具爬虫，对网站敏感文件目录进行扫描，对robots文件进行爬取。或者直接在url链接后添加/robots.txt进行测试。

如何修复？

首先我们要明确，robots.txt不应该被用来保护/隐藏信息。应该将敏感的文件和目录移到另一个隔离的子目录，以便将这个目录排除在Robots搜索之外。
robots.txt内容可设为Disallow: /，禁止搜索引擎访问网站的任何内容。

各位也可以从网上找robots生成器，按照自己的要求生成robots进行研究。

Robots.txt泄露敏感信息相关推荐

开源自动化服务器软件 Jenkins 被曝严重漏洞，可泄露敏感信息
聚焦源代码安全,网罗国内外最新资讯! 编译:奇安信代码卫士团队本周一,热门开源自动化服务器软件 Jenkins 发布安全公告称,Jetty web 服务器中存在一个严重漏洞,可导致内存损坏并导致机 ...
信息搜集-敏感信息收集
敏感信息收集针对某些安全做的很好的目标,直接通过技术层面是无法完成渗透测试的.在这种情况下,可以利用搜索引擎搜索目标暴露在互联网上的关联信息.例如:数据库文件.SQL注入.服务器配置信息.甚至是通过 ...
Web渗透信息收集之域名、端口、服务、指纹、旁站、CDN和敏感信息
[网络安全] 二.Web渗透信息收集之域名.端口.服务.指纹.旁站.CDN和敏感信息最近开始学习网络安全和系统安全,接触到了很多新术语.新方法和新工具,作为一名初学者,感觉安全领域涉及的知识好广.好 ...
Pikachu7_敏感信息泄露
漏洞详情漏洞利用漏洞防御代码分析漏洞详情在页面中或者返回的响应包中泄露账户.口令.中间件信息.个人信息.健康信息.信用卡等信息漏洞利用通过这些信息,给攻击者渗透提供了非常多的有用信息,扩 ...
LARAVEL敏感信息泄漏
相关声明本文内容仅为技术科普,请勿用于非法用途.概不负责,一切后果由用户自行承担. 入行四个月了见到了很多没见过的漏洞,学习一下 LARAVEL敏感信息泄漏高危漏洞描述:在 laravel 框架 ...
浅谈“敏感信息泄露“
一:漏洞名称: 敏感信息泄露描述: 敏感数据包括但不限于:口令.密钥.证书.会话标识.License.隐私数据(如短消息的内容).授权凭据.个人数据(如姓名.住址.电话等)等,在程序文件.配置文件. ...
三、敏感信息泄露漏洞
敏感信息泄露漏洞一.漏洞简述敏感信息泄露漏洞是指在业务系统中对保密性要求较高的数据泄露二.数据类型 1.网站传输过程数据 2.数据库存储的数据 3.浏览器的交互数据三.信息分类 1.系统敏感信 ...
Spring Boot框架敏感信息泄露的完整介绍与SRC实战(附专属字典与PoC)
转载于:https://www.freebuf.com/vuls/289710.html #前言 ##Spring Boot框架介绍 Spring框架功能很强大,但是就算是一个很简单的项目,我们也要配 ...
pythoninformation leakage_GitHub - MrFk/GSIL: Github Sensitive Information Leakage（Github敏感信息泄露）...
GSIL(GitHub Sensitive Information Leak) Monitor Github sensitive information leaks in near real time ...

Robots.txt泄露敏感信息

Robots.txt泄露敏感信息

Robots.txt泄露敏感信息相关推荐

最新文章

热门文章