wget整站抓取、网站抓取功能

wget -r -p -np -k -E http://www.xxx.com 抓取整站

wget -l 1 -p -np -k http://www.xxx.com 抓取第一级

-r 递归抓取
-k 抓取之后修正链接，适合本地浏览

http://blog.sina.com.cn/s/blog_669fb0c3010137bq.html

wget -m -e robots=off -k -E "http://www.abc.net/"
可以将全站下载以本地的当前工作目录，生成可访问、完整的镜像。

解释：

-m //镜像，就是整站抓取
-e robots=off //忽略robots协议，强制、流氓抓取
-k //将绝对URL链接转换为本地相对URL
-E //将所有text/html文档以.html扩展名保存

https://futurestack.cn/cookbook/devops/wgetsite/

wget整站抓取、网站抓取功能相关推荐

橙色的商务企业网站模板 html整站下载企业网站模板
介绍: [橙色的商务企业网站模板]商务企业网站模板+html整站下载+企业网站模板开发语言:PHP+Mysql 操作系统:Windows,Linux 网盘下载地址: http://kekewangL ...
美女图片整站源码 wordpress主题多功能CX-UDY图片主题下载带会员积分系统
这是一套带有CX-UDY图片主题的wordpress网站源码,页面设计美观大方,功能强大:会员积分系统+SEO优化+第三方登录+广告系统+代码自定义功能+支付系统- 下载链接: g美女图 ...
wget整站抓取、网站抓取功能；下载整个网站；下载网站到本地
wget -r -p -np -k -E http://www.xxx.com 抓取整站 wget -l 1 -p -np -k http://www.xxx.com 抓取第一级 - ...
wget 整站抓取的好工具
Wget 的使用 1)支持断点下传功能(2)同时支持FTP和HTTP下载方式(3)支持代理服务器(4)设置方便简单:5)程序小,完全免费: 命令格式: wget [参数列表] [目标软件.网页的网址] ...
Windows中使用wget整站下载
weget wget安装 Windows下载点击下载 https://eternallybored.org/misc/wget/ 会跳转到wget的下载页,根据自己电脑选择下载的文件,我下载的版 ...
家教源码php,新版PHP家教网源码整站PHP家教网站搭建家教网
商品属性品牌其他语言PHP 数据库Mysql 移动端无大小50 MB 规格无授权无源文件无 安装环境安装服务￥49.00(额外,可选)[要求说明] 主机类型虚拟主机(仅有FTP管理) ...
Web侦察工具HTTrack （爬取整站）
Web侦察工具HTTrack (爬取整站) HTTrack介绍爬取整站的网页,用于离线浏览,减少与目标系统交互,HTTrack是一个免费的(GPL,自由软件)和易于使用的离线浏览器工具.它允许您从I ...
如何对网站进行seo优化？seo整站优化的步骤流程介绍
说到seo优化,可能多数人想到的都是seo关键词优化,那么什么是seo整站优化呢?seo整站优化是干嘛的呢?seo整站优化有哪几个步骤呢? 1.seo整站优化是干嘛的? 整站优化是网站SEO优化的应用 ...
seo整站优化详细教程下载
seo整站优化?什么是SEO整站优化,相信不少朋友都有一个误区,SEO整站优化就是布局一下关键词,更新一下文章.做一下SEO优化的小技巧,这是错误的观念.真正的整站优化涉及的系列更全:网站视觉优化.网 ...
宽屏扁平化结婚恋爱整站HTML5模板
今天寻码君为大家推荐的是高端大气上档次,甜到没朋友的婚纱恋爱网站模板,可以作为男女朋友恋爱的见证,下面让我们拭目以待. 一.宽屏扁平化结婚恋爱整站HTML5模板网站预览地址:宽屏扁平化结婚恋爱整站模 ...

wget整站抓取、网站抓取功能

wget整站抓取、网站抓取功能相关推荐

最新文章

热门文章