屏蔽wget下载网站内容

经发现，虽然wget遵循robots.txt规则，但是那个还是可以绕过去，现在方法如下：

1. 屏蔽下载任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>Order Allow,DenyAllow from allDeny from env=bad_bot
</Limit>

2. 屏蔽下载部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

来源：http://www.webhostingtalk.com/showthread.php?t=437549

屏蔽wget下载网站内容相关推荐

用wget下载网站，实现离线浏览
资料来源:http://www.truevue.org/linux/wget-download-website 想下一些LSF的文档,windows下的离线浏览有teleport等软件可以选择,Lin ...
怎么在python下载网站内容-分析某网站，并利用python自动登陆该网站，下载网站内容...
本帖最后由愤怒的小车于 2019-5-8 09:41 编辑一:本代码是我研究了好久才写出来,七功能主要有自动登陆.自动识别验证码.以及自动识别下载格式进行判断下载! 首先,搬上我们的主角网址,h ...
怎么在python下载网站内容-Python下载网页的几种方法
get和post方式总结 get方式:以URL字串本身传递数据参数,在服务器端可以从'QUERY_STRING'这个变量中直接读取,效率较高,但缺乏安全性,也无法来处理复杂的数据(只能是字符串,比如在 ...
python 自动登录网站_分析某网站，并利用python自动登陆该网站，下载网站内容...
本帖最后由愤怒的小车于 2019-5-8 09:41 编辑一:本代码是我研究了好久才写出来,七功能主要有自动登陆.自动识别验证码.以及自动识别下载格式进行判断下载! 首先,搬上我们的主角网址,h ...
wget下载网站的目录
$ wget -c -r -nd -np -k -L -p -A c,h www.xxx.org/pub/path/ -c 断点续传 -r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件 ...
怎么在python下载网站内容-用Python下载一个网页保存为本地的HTML文件实例
我们可以用Python来将一个网页保存为本地的HTML文件,这需要用到urllib库. 比如我们要下载山东大学新闻网的一个页面,该网页如下: 实现代码如下: import urllib.request ...
怎么在python下载网站内容-python从网站上下载东西
import requests res=requests.get('http://www.gutenberg.org/cache/epub/112/pg112.txt')#requests返回一个re ...
Wget下载整个网站（包含图片/JS/CSS）
我会向你展示10个 Wget 命令的实际案例. Wget 是一个用于下载文件的免费工具,它支持大多数常用的Internet协议,包括 HTTP, HTTPS, 以及 FTP. Wget这个名字来源于 ...
使用wget下载需要用户名和密码访问的网站资源
wget是在Linux下开发的开放源代码的软件,作者是Hrvoje Niksic,后来被移植到包括Windows在内的各个平台上.它有以下功能和特点: (1)支持断点下传功能:这一点,也是网络蚂蚁和F ...

屏蔽wget下载网站内容

屏蔽wget下载网站内容相关推荐

最新文章

热门文章