linux命令wget的url路径太长,Linux中WGET下载https链接及WGET命令的详解
Linux中WGET下载https链接及WGET命令的详解
使用如下的命令下载https链接:
```bash
wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username --http-password=password
```
下载'dir'目录下的所有gz文件
-np 没有父目录
-nd 不要构建本地目录结构
--accept=gz 只下载gz文件
## wget 使用详解
### 1、下载单个文件
```
wget url+filename
```
下载过程中同时可以看到四项信息
* 已经下载的比例
* 已经下载的大小
* 当前下载的速度
* 剩余的时间
### 2、使用一个大写O做参数表示另存为
```
wget -O save_name url
```
这种方法适用于对应链接中没有显式文件名的情况。
例如:
```
wget -O xx.zip http://www.vim.org/scripts/download_script.php?src_id=7701
```
再用不带-O参数的下载一次。
```bash
ls -al
总计 132
drwxr-xr-x 2 root root 4096 07-12 10:43 .
drwxr-xr-x 4 root root 4096 07-11 16:26 ..
-rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701
-rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip
```
我们发现,下载的大小都是一样。但是不带-O参数的,文件名还要转换一次。不如用-O参数方便。
```bash
mv "download_script.php?src_id=7701" yy.zip
```
### 3、指定下载速率
方法是使用wget --limit-rate
wget程序默认是使用所有的带宽,如果是在生产服务器上下载很大的文件就不可接受了。为了避免这种情况使用--limit-rate参数
```
wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2
```
### 4、断点下载
使用wget -c完成未完成的下载,下载到一半需要停下来干别的事情,用^c就可以停顿住。回来后,继续下载可以加一个-c参数。
注意:如果不加入-c,那么下载的文件会多出一个.1的后缀。
### 5、在后台下载
方法:加一个-b的参数
wget -b url/filename为后台下载。下载经过写入到wget-log文件中。
用tail -f wget-log查看下载日志
### 6、模拟在浏览器下下载
有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置
```
wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD
```
### 7、测试下载链接
方法:使用--spider
试图做计划下载时候,需要先检查一下下载链接是否有效。
wget --spider DOWNLOAD-URL
如果返回OK,则表示下载链接是正确的!
例如
```
wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
Spider mode enabled. Check if remote file exists.
--2010-07-12 11:36:32-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2
正在解析主机 ip138.com... 221.5.47.136
Connecting to ip138.com#124;221.5.47.136#124;:80... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:7817 (7.6K) [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.
```
### 8、增加尝试次数
方法:--tries=1000
如果网速有问题,下载大文件的时候可能会发生错误,默认wget尝试20次链接。
如果尝试75次,可以
```
wget --tires=75 DOWNLOAD-URL
```
### 9、下载多个文件
使用wget -i
将多个下载链接写入到一个download-file-list.txt文件中,而后用
```
wget -i download-file-list.txt
```
### 10、下载整站
方法:用--mirror参数
当你要下载一个完整站点并实现本地浏览的时候,
```
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL
```
参数讲解:
* --mirror:设置这个参数用来建立本地镜像
* -p:下载所有html文件适合显示的元素
* --convert-links:下载完成后,将文档链接都转换成本地的
* -P ./LOCAL-DIR:保存所有的文件和目录到指定文件夹下
### 11、下载时候禁止下载指定类型的文件
例如下载站点时候,不打算下载gif动画图片。
```
wget --reject=gif WEBSITE-TO-BE-DOWNLOADED
```
### 12、记录下载日志
方法:使用小写字母o
```
wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
```
检查一下日志:
```bash
[root@localhost opt]# cat xx.html.log
--2010-07-12 11:57:22-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2
正在解析主机 ip138.com... 221.5.47.136
Connecting to ip138.com#124;221.5.47.136#124;:80... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:7817 (7.6K) [text/html]
Saving to: `xx.html'
0K ....... 100% 65.5K=0.1s
2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817]
```
### 13、是第9条的增强版。可以限制下载容量
```
wget -Q5m -i FILE-WHICH-HAS-URLS
```
当下载的文件达到5兆的时候,停止下载。
注意:如果不是对一个文件下载链接清单,对单个文件,这个限制不会生效的。
### 14、和第11条正好相反
这条技巧是讲述如何仅仅下载指定类型的文件,从一个网站中下载所有的pdf文件
```
wget -r -A.pdf http://url-to-webpage-with-pdfs/
```
### 15、使用wget完成ftp下载
匿名ftp下载类似于http下载,wget ftp-url即可。
如果是需要输入用户名和密码,则是
```
wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL
```
linux命令wget的url路径太长,Linux中WGET下载https链接及WGET命令的详解相关推荐
- windows小技巧1——路径太长导致文件无法删除
windows小技巧1--路径太长导致文件无法删除 路径太长 原因: 1.超过了大多数Windows所能接受的255个字节(NTFS文件系统没有这个问题,它可以容纳更长的路径) 2.文件的深度超过 1 ...
- 成功解决源路径太长,源文件名长度大于文件系统支持的长度。请尝试将其移动到具有较短路径名称的位置,或者在执行此操作前尝试将其重命名为较短的名称
成功解决源路径太长,源文件名长度大于文件系统支持的长度.请尝试将其移动到具有较短路径名称的位置,或者在执行此操作前尝试将其重命名为较短的名称 目录 解决问题 解决思路 解决方法 解决问题
- Vivado工程路径太长导致不能生成bit文件
1.1 Vivado工程路径太长导致不能生成bit文件 1.1.1 本节目录 1)本节目录: 2)本节引言: 3)FPGA简介: 4)Vivado工程路径太长导致不能生成bit文件: 5)结束语. 1 ...
- 服务器上文件名太长,Git add命令失败,说“文件名太长”
我初始化了一个git仓库以添加一个Oracle Weblogic服务器的本地实例(是!)以使用git对其进行版本化.Git add命令失败,说"文件名太长" oracle文件位于c ...
- 文件路径太长删不掉怎么办?
文件路径太长,无法删除怎么办? 最近在做java项目时,由于编译路径设置错误,导致了整个编译文件的路径太长了,手动删除怎么都删不掉,百度了很久,终于找到了解决办法,亲测有效 1,随便新建一个空的文件夹 ...
- linux中etc下的hosts(本地IP解析)文件详解
linux中etc下的hosts(本地IP解析)文件详解 1./etc/hosts(本地解析) 很多人一提到更改hostname首先就想到修改/etc/hosts文件, 认为hostname的配置文件 ...
- python读取路径太长_路径名太长,无法打开?
常规DOS路径限制为MAX_PATH(260)个字符,包括字符串的终止字符NUL.通过使用以\\?\前缀开头的扩展长度路径,可以超过此限制.此路径必须是完全限定的Unicode字符串,并且只能使用反斜 ...
- linux拷贝到新建文件夹命令行,Linux创建文件touch,复制文件cp,tab补全,链接文件ln命令...
一.创建文件 使用touch 可以创建空文件,例如opt目录下创建test2.txt文件.这种一般是有些程序必须要先创建文件,才能使用. 二. 复制文件 2.1 使用cp命令来复制文件,需要两个参数- ...
- Linux中级实战专题篇一:nginx服务(特性优势,yum安装,编译安装详解,虚拟主机技术详解)
一.HTTP 介绍 HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写,是用于从万维网(WWW:World Wide Web )服务器传输超文本到本地浏览器 ...
最新文章
- 《.NET应用架构设计:原则、模式与实践》新书博客--试读-2.1.2 设计原则实战
- 中国17种稀土有啥军事用途?没它们,美军技术优势将归零
- 【HeadFirst 设计模式学习笔记】6 命令模式
- 运行时异常与一般异常的区别
- ManageEngine保护您的浏览器
- 赞!Google 资深软件工程师 LeetCode 刷题笔记首次公开
- leetcode 258. 各位相加(Java版)
- Flutter MaterialButton组件详细概述
- 常见的数据库连接字符串收集
- 教师计算机应用研讨交流,计算机应用技术专业技能比赛研讨交流活动在济南信息工程学校举行...
- mysql load 忽略错误_mysql load data遇到的两个错误和解决方法
- 万字长文带你彻底搞懂什么是 DevOps
- 题解【[FJOI2018]所罗门王的宝藏】
- 【服务器数据恢复】IBM服务器RAID控制器出错的数据恢复案例
- python语言程序代码保存在_《计算机二级Python语言程序设计考试》第5章:函数和代码复用...
- 面试题19/leetcode10:正则表达式匹配 C++
- Unity Content Size Fitter 刷新不及时
- 使用adb命令操作多台设备
- 手动设置网页cookie的值
- Android Studio Button 美化
热门文章
- 怎么选择一款安心的墙布产品?-江南爱窗帘十大品牌
- EasyExcel-排除展示字段-02
- 基于java的微信小程序的实现(二)登录,注册,注销接口的实现
- mysql int字段 被转成Long问题解决
- WP主题如何支持WooCommerce主题
- 自助收银、刷脸支付为零售门店升级智慧赋能
- ADC性能指标(INL/DNL/GE/OE/SNR/THD/SINAD/SFDR/ENOB)(用函数的观点来理解)
- 《App Store 审核指南》更新条目一览
- 解决WIN10的cmd无法使用的问题
- python 深度优先最短路径,广度优先最短路径,dijkstra最短路径及可视化