robots xctf 攻防世界 web新手练习区
robots
1、题目描述:X老师上课讲了Robots协议,小宁同学却上课打了瞌睡,赶紧来教教小宁Robots协议是什么吧。
2、本题考查的知识点为 robts.txt 协议
不管是企业网站还是门户网站,上面都会有些资料是保密而不对外公开的。怎么样做到不对外公开呢?唯一的保密的措施就是不让搜索引擎来搜录这些信息。这 样就会不在网络上公司,那么要实现这个网站页面不收录,就体了robots.txt的作用啦!robots.txt是一个简单的记事本文件,这是网站管理员和搜录引擎对话的一个通道。在这个文件中网站管理者可以声明该网站中不想被robots访问的部分,或者指定搜索引擎只收录指定的内容。
当一个搜索机器人(有的叫搜索蜘蛛)访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,那么搜索机器人就沿着链接抓取。
既然我们这里知道了什么是robots.txt,我们该如何来应用呢?
1、如果我们网站的内容为全部公开,则不需要要设置robots.txt或robots.txt为空就可以啦。
2、robots.txt这个文件名必需要是小写而且都要放在网站的根目录下http://www.hongtaoseo.com/robots.txt一般要通过这种URL形式能访问到,才说明我们放的位置是正确的。
3、robots.txt一般只写上两种函数:User-agent和Disallow。有几个禁止,就得有几个Disallow函数,并分行描述。
4、至少要有一个Disallow函数,如果都允许收录,则写: Disallow:,如果都不允许收录,则写:Disallow: / (注:只是差一个斜杆)。
写法说明
User-agent: *星号说明允许所有搜索引擎收录
Disallow: /search.html说明http://www.honbgtaoseo.com/search.html这个页面禁止搜索引擎抓取。
Disallow: /index.php?说明类似这样的页面http://www.www.hongtaoseo.com/index.php?search=%E5%A5%BD&action=search&searchcategory=%25禁止搜索引擎抓取。
常见的用法实例:
允许所有的robot访问
User-agent: *
Disallow:
或者也可以建一个空文件“/robots.txt” file
禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录)
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
禁止某个搜索引擎的访问(下例中的BadBot)
User-agent: BadBot
Disallow: /
只允许某个搜索引擎的访问(下例中的Crawler)
User-agent: Crawler
Disallow:
User-agent: *
Disallow: /
另外,我觉得有必要进行拓展说明,对robots meta进行一些介绍:
Robots META标签则主要是针对一个个具体的页面。和其他的META标签(如使用的语言、页面的描述、关键词等)一样,Robots META标签也是放在页面的中,专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。
————摘自百度经验
3、解题过程
首先打开题目后发现是一个空网页,网页内没有任何内容
根据已知的robots.txt协议,于是我们在URL末尾加上“ /robots.txt ”
在打开“ Disallow ”后的flag_ls_h3re.php文件(将flag_ls_h3re.php放到URL末尾 ),
如下图所示便可获得flag
robots xctf 攻防世界 web新手练习区相关推荐
- XCTF攻防世界Web新手入门题大全
XCTF攻防世界Web之WriteUp无图版 (Tips:有图版本,请移步我的资源,自行下载doc文档) 0x00 准备 [内容] 在xctf官网注册账号,即可食用. [目录] 目录 0x01 vie ...
- xctf攻防世界 crypto 新手练习区--write up(持续更新中)
文章目录 base64 Caesar Morse Railfence 不仅仅是Morse easy RSA RSA算法 简介 RSA计算公钥和私钥 混合编码 转轮机加密 回转轮加密 base64 题目 ...
- 攻防世界 WEB 新手练习区 答题(1-12题解)
序 传送门:https://adworld.xctf.org.cn/task/ 1.view_source 题目描述:X老师让小宁同学查看一个网页的源代码,但小宁同学发现鼠标右键好像不管用了. 题目思 ...
- XCTF 攻防世界 web 高手进阶区
文章目录 ics-07 shrine( flask + jinja2 的 SSTI) easytornado(模板注入) upload(文件名注入) supersqli(堆叠注入) php_rce(T ...
- xctf攻防世界 Web高手进阶区 wtf.sh-150
1.进入环境,查看内容 一串奇奇怪怪的留言板内容,记着我们Login Register,搞个账户注册玩玩,登录进去后发现就是只能发个帖子.也没有什么可以利用的内容,于是使用dirsearch扫一扫,一 ...
- 攻防世界 web新手练习区WP(超新新手!)
看了看自己的博客,发现最近几年学什么发什么博客都是半途而废,甚至很久没有登陆csdn了
- 攻防世界-web新手区wp
攻防世界-web新手区wp view source robots backup cookie disabled_button weak auth simple php get_post xff_ref ...
- 攻防世界——web新手区(全解)
当前网络安全形式越来越严重,我国也越来越重视,现在国内乃至国际上各个网络攻防大赛层出不穷,但是练习平台却还是很稀缺,可以说目前网上能够练习的平台也就只有几家,大多数的院校它们有自己的练习平台但并不公开 ...
- 攻防世界web新手区(来自小白)*-*
鄙人是个纯纯的小白,这个博客也是给小白写的,不过大佬们也不会来查这些题的wp吧 拍飞 文章目录 攻防世界WEB新手区(1--11) 第一题view_source 第二题robots 第三题backup ...
最新文章
- vb.net怎么调用fastreport报表_零编码制作报表可能吗?
- 1805b: Coronavirus Spike Protein Binder Design 寻找蛋白质阻止新冠病毒感染人类细胞
- inter Course Certificate
- Shell case esac语句
- python学习之wxPython
- GetTickCount() 函数的作用和用法(转)
- Android 日志工具包
- unicode码表和标准下载 unicode官网
- 华为交换机debug icmp数据包
- docker安装镜像
- 如何从Win11系统安装回win10系统?
- 利用MATLAB解特征方程,并画出特征根的分布,便于分析系统的稳定性
- LongIsland纽约长岛LangeEylandt
- 某东薅羊毛脚本分析 如何自己薅羊毛
- python将数据导入数据库 atomic_Python3 连接 Sqlite3
- 我亦无他,唯手熟尔:Verilog基本语法目录
- java获取法定节假日_java 获取n个工作日后的日期(包含法定节假日、双休日、节后补班)...
- 树莓派CSI摄像头使用
- hbase数据库scan操作_HBase最佳实践之Scan
- 百度地图电子围栏判断