wget整站抓取、网站抓取功能；下载整个网站；下载网站到本地

wget -r -p -np -k -E http://www.xxx.com 抓取整站

wget -l 1 -p -np -k http://www.xxx.com 抓取第一级

-r 递归抓取
-k 抓取之后修正链接，适合本地浏览

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

wget -m -e robots=off -k -E "http://www.abc.net/"
可以将全站下载以本地的当前工作目录，生成可访问、完整的镜像。

解释：

-m //镜像，就是整站抓取
-e robots=off //忽略robots协议，强制、流氓抓取
-k //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存

https://futurestack.cn/cookbook/devops/wgetsite/

转载于:https://www.cnblogs.com/shengulong/p/8445828.html

wget整站抓取、网站抓取功能；下载整个网站；下载网站到本地相关推荐

美女图片整站源码 wordpress主题多功能CX-UDY图片主题下载带会员积分系统
这是一套带有CX-UDY图片主题的wordpress网站源码,页面设计美观大方,功能强大:会员积分系统+SEO优化+第三方登录+广告系统+代码自定义功能+支付系统- 下载链接: g美女图 ...
wget 整站抓取的好工具
Wget 的使用 1)支持断点下传功能(2)同时支持FTP和HTTP下载方式(3)支持代理服务器(4)设置方便简单:5)程序小,完全免费: 命令格式: wget [参数列表] [目标软件.网页的网址] ...
Windows中使用wget整站下载
weget wget安装 Windows下载点击下载 https://eternallybored.org/misc/wget/ 会跳转到wget的下载页,根据自己电脑选择下载的文件,我下载的版 ...
Web侦察工具HTTrack （爬取整站）
Web侦察工具HTTrack (爬取整站) HTTrack介绍爬取整站的网页,用于离线浏览,减少与目标系统交互,HTTrack是一个免费的(GPL,自由软件)和易于使用的离线浏览器工具.它允许您从I ...
浅析网站SEO整站优化的优势！
不同的网站优化人员都会拥有不同的优化技巧,而对于网站SEO优化商家来说,也有做竞价,或者包年优化,还有一种就是网站整站优化.整站优化是指对网站进行全面的检查和优化,根据客户网站的需要进行修改和优化,以 ...
分享Python采集的77个PHP整站程序源码
Python采集的77个PHP整站程序源码下载链接:百度网盘请输入提取码提取码:pdwa ULCms(Unlimited Cms) V1.0 RC Build 20080926 DiY-Page ...
HTML期末大作业~web前端开发个人博客HTML整站模板~Web大学生网页成品 ~个人主页博客网页HTML设计制作...
HTML期末大作业~ 学生HTML个人网页作业作品下载个人主页博客网页设计制作大学生个人网站作业模板简单个人网页制作临近期末, 你还在为HTML网页设计结课作业,老师的作业要求感到头大?HTM ...
百度SEO HTML5蓝色个人主页博客整站模板
简介: HTML5蓝色个人主页博客整站模板是一款简洁好看的个人博客网站模板下载.aspku提示:本模板调用到谷歌字体库,可能会出现页面打开比较缓慢. 下载地址: http://www.bytepan. ...
flash php个人站_PHP Flash整站系统
PHP Flash整站系统[PHP Flash CMS]是一套功能强大的Flash整站系统,前台采用Flash + XML + CSS构建的Style Portfolio Template 2模板,后 ...

wget整站抓取、网站抓取功能；下载整个网站；下载网站到本地

wget整站抓取、网站抓取功能；下载整个网站；下载网站到本地相关推荐

最新文章

热门文章