web安全：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧

题目描述：

robots协议

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据（Metadata，又称元数据）。
robots协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。

任务进行时

dirsearch

下载dirsearch

dirsearch的使用

查找任务中的robots.txt

python dirsearch.py -u http://159.138.137.79:63764 -e *

访问http://159.138.137.79:63764/robots.txt

什么是dirsearch

dirsearch是一个基于python的命令行工具，旨在暴力扫描页面结构，包括网页中的目录和文件。
-u 指定url
-e 指定网站语言
-w 可以加上自己的字典（带上路径）
-r 递归跑（查到一个目录后，在目录后在重复跑，很慢，不建议用）
–random-agents 使用代理（使用的代理目录在uesr-agents.txt中，可以自己添加）

warning ：未经授权，不得转载
声明：本文旨在为学习网络信息安全的同学提供指引帮助，维护网络空间的安全
有问题的小伙伴请在下方留言，喜欢就点个赞吧；关注我，带你一起写bug
知乎：叄贰壹
简书：带只拖鞋去流浪

web安全：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧相关推荐

小达同学软件测试第一讲
关注我,每天都有优质技术文章推送,工作,学习累了的时候放松一下自己. 本篇文章同步微信公众号欢迎大家关注我的微信公众号:「醉翁猫咪」软件测试软件开发过程软件质量保证理解软件测试软件测试分类 ...
操作系统老师上课讲的那个根据I/O时间和CPU时间比例来为进程分配优先级的题目，I/O时间比例越大，则这个进程的优先级越高
链接:https://www.nowcoder.com/questionTerminal/bf9435b00606484c9f85fe93c72bf06d 来源:牛客网某系统正在执行三个进程 P1. ...
计算机老师给新生的第一堂课怎么讲,新老师如何讲好第一堂课？看这篇就够了！...
原标题:新老师如何讲好第一堂课?看这篇就够了! 距11.3资格证笔试还有68天啦新学期即将开始啦!在新生入学的同时,各学校也将迎来一批新教师,为校园注入新鲜的血液. 或许,作为一名新教师,也曾无数次 ...
突然发现高中时候的“概率”老师都讲的太复杂了
高中的概率题目,主要分为三部分:有放回.无放回.几何,其中几何暂且不说有放回: 无放回: 我这里写的比较简略,主要想表达的是,其实在高中时候老师总是讲无放回的情况就是有放回再除以一个排序量,这样抵消 ...
Python核心编程-Amy老师第九讲课程作业
python核心编程-Amy老师第九讲作业内容: 作业1 1. 定义一个函数完成用户输入的三个数字的求和以及在另一个函数求该和的平均值 ( 用到函数传参 , 函数返回值) 代码如下: client_ ...
【深度学习】老师木讲架构：深度学习平台技术演进
新智元推荐来源:OneFlow [新智元导读]近日,袁进辉(老师木)代表OneFlow团队在全球互联网架构大会上海站做了<深度学习平台技术演进>的报告.报告包括深度学习的计算力问题. ...
学生上课睡觉班主任怎么处理_怎样解决学生上课睡觉的问题
成都圣安心理康复中心 [成都市青羊区玉沙路142号, 微信:13684043933] 销售的最高境界是和产品谈恋爱.给学生授课也是销售,如果老师能够非常重视所讲授的课程,精心备课,能够十分关注学生听课 ...
互联网快讯：小红书启动最严医美治理；极米投影产品受消费者肯定；小米手机小爱同学新增上课模式
互联网快讯:小红书启动最严医美治理:极米投影产品受消费者肯定:小米手机小爱同学新增上课模式国内要闻浙江出招:大学生如果创业失败,贷款10万以下的由政府代偿: 国家药监局:50批次不合格化妆品被立案 ...
[转]新东方老师上课讲的笑话(太有才了)
[张洪伟] 起名字的问题:中西方都不愿意以鲜花.野草起名字,什么牡丹玫瑰,小红小翠了,一听就变味了:张建.李建,但不能叫范建(贱)了:北京以前有个建(贱)人学校,你打电话咨询,服务小姐会说:您好,贱人 ...
新东方老师上课讲的笑话
[ 张洪伟] 起名字的问题:中西方都不愿意以鲜花.野草起名字,什么牡丹玫瑰,小红小翠了,一听就变味了:张建.李建,但不能叫范建(贱)了:北京以前有个建(贱)人学校,你打电话咨询,服务小姐会说:您好,贱 ...