攻防世界——robots

2024-06-10 02:05:08

解题挺简单，用上robots.txt

出现

User-agent: *
Disallow:
Disallow: f1ag_1s_h3re.php

接着直接访问f1ag_1s_h3re.php，出现flag。。。。

robots是搜索引擎爬虫协议，也就是你网站和爬虫的协议。

简单的理解：robots是告诉搜索引擎，你可以爬取收录我的什么页面，你不可以爬取和收录我的哪些页面。robots很好的控制网站哪些页面可以被爬取，哪些页面不可以被爬取。

主流的搜索引擎都会遵守robots协议。并且robots协议是爬虫爬取网站第一个需要爬取的文件。爬虫爬取robots文件后，会读取上面的协议，并准守协议爬取网站，收录网站。

robots文件是一个纯文本文件，也就是常见的.txt文件。在这个文件中网站管理者可以声明该网站中不想被robots访问的部分，或者指定搜索引擎只收录指定的内容。因此，robots的优化会直接影响到搜索引擎对网站的收录情况。

存放目录

robots文件必须要存放在网站的根目录下。也就是域名/robots.txt 是可以访问文件的。你们也可以尝试访问别人网站的robots文件。输入域名/robots.txt 即可访问。

robots写作语法

disallow为不可爬取的意思。

“Disallow: /?s*” 表示路径中带有“/?s”的路径都不能爬取。

“Disallow: /” 因为所有路径都包含/ ，所以这表示禁止爬取网站所有内容。

攻防世界——robots相关推荐

攻防世界WEB练习区（view_source、get_post、robots）
前言作者简介:不知名白帽,网络安全学习者. 博客主页:https://blog.csdn.net/m0_63127854?type=blog 攻防世界专栏:https://blog.csdn.net ...
CTF:攻防世界web PART01
写在前面: 此博客仅用于记录个人学习进度,学识浅薄,若有错误观点欢迎评论区指出.欢迎各位前来交流.(部分材料来源网络,若有侵权,立即删除) 攻防世界web PART01 baby_web Traini ...
攻防世界writeup
攻防世界writeup 前言 web 新手练习 view_source get_post robots backup cookie disabled_button simple_js xff_refe ...
攻防世界——web新手题
攻防世界----web新手题 1. robots 打开题目场景,发现与robots协议有关,上网搜索robots协议的内容: Robots协议(也称为爬虫协议.机器人协议等)的全称是"网络爬 ...
攻防世界之Web新手练习篇
前言: 天行健,君子以自强不息. 地势坤,君子以厚德载物. --<周易> 第一次接触CTF比较晚,学期已过近半,第一次做题就是在攻防世界,这里题目适合刚接触的萌新.写 ...
file upload 攻防世界_菜鸡 CTF 之旅 Writeup （攻防世界）
前言我是个菜鸡,菜鸡就要先走新手练习区. 这次 CTF Writeup 的指定训练站点为攻防世界新手练习区 Web 区 view_source 题目描述:X老师让小宁同学查看一个网页的源代码,但 ...
攻防世界we区newer题目
WEB攻防区新手题(任务3)(本周) 题目:'攻防世界'新手区 1.view_source 题目简介: 右键呼不出开发者模式,是JS禁用了鼠标右键,按F12快捷键调用即可. 相关代码段: docume ...
攻防世界web新手区合集
攻防世界(xctf)做题合集-get_post- robots-backup-cookie-disabled_button-simple_php-weak_auth-xff_referer-simpl ...
攻防世界-----web知识点总结
WEB 一. 网页源代码的方式在地址栏前面加上view-source,如view-source:https://www.baidu.com 浏览器的设置菜单框中使用开发者工具,也可以查看网页源代码. ...

最新文章

热门文章