wget 命令的使用:HTTP文件下载、FTP文件下载
本文链接: https://blog.csdn.net/xietansheng/article/details/84669662
1. wget 命令简介与安装
wget
是用于在命令行终端下载网络文件的开源免费的命令工具,支持 HTTP/HTTPS、FTP/FTPS 协议的下载。wget 与 curl 相似,curl 可以理解为是一个浏览器,wget 则可以理解是迅雷。wget 意为 World Wide Web 与 get 的结合。
Linux 系统下在线安装:
# Debian 系列: Debian、Ubuntu 等
sudo apt-get install wget# RedHat 系列: Redhat、CentOS、Fedora 等
sudo yum install wget
其他平台可以在官网下载源码编译安装:
- wget GNU官网: http://www.gnu.org/software/wget/
- wget 源码下载: https://ftp.gnu.org/gnu/wget/
- wget 帮助文档: http://www.gnu.org/software/wget/manual/wget.html
2. wget 命令使用格式
2.1 wget 基础语法
wget [options] <URL>
2.2 wget 常用参数
-U/--user-agent AGENT # 设置 User-Agent 请求头
--referer URL # 设置 Referer 请求头--load-cookies FILE # 会话开始前从 FILE 中载入 cookies
--save-cookies FILE # 会话结束后保存 cookies 至 FILE--header STRING # 添加 请求头, 可以添加多个 --header 参数# 格式: --header "name: value"--ftp-user USER # ftp 用户名
--ftp-password PASS # ftp 密码
-r/--recursive # 递归下载(如果下载目录, 需要指定递归下载)-O/--output-document FILE # 大写O, 将内容保存到 FILE, 格式: -O "filepath"
-q/--quiet # 安静模式 (无信息输出)
3. wget 命令使用实例
3.1 HTTP 下载
# 下载文件, 没有指定文件保存位置, 默认以 URL 资源文件名作为文件名保存到当前目录
wget https://localhost/aaDir/aa.txt# 下载文件(\表示命令语句还未结束, 换行继续)
# 设置 User-Agent 请求头, 文件保存到 /YouDirPath/aa.txt
wget https://localhost/aaDir/aa.txt \-U "Mozilla/5.0 Chrome/70.0.3538.110 Safari/537.36" \-O "/YouDirPath/aa.txt"
3.2 FTP 下载
假设 FTP 服务器 地址为:192.168.0.100
; 用户名为:user
; 密码为:passwd
# 下载 FTP 指定文件 /aaDir/aa.txt, 以原文件名保存到当前目录
wget ftp://192.168.0.100/aaDir/aa.txt \--ftp-user "user" \--ftp-password "passwd"# 下载 FTP 指定文件 /aaDir/aa.txt, 以 bb.txt 命名保存
wget ftp://192.168.0.100/aaDir/aa.txt \--ftp-user "user" \--ftp-password "passwd" \-O "bb.txt"# 递归下载 FTP 指定文件夹 /aaDir/, 保存到当前目录
wget ftp://192.168.0.100/aaDir/ \-r \--ftp-user "user" \--ftp-password "passwd"
3. wget --help
如果 Linux 的系统语言为简体中文,帮助信息会以简体中文的形式打印。下面附上 wget 的帮助信息,方便直接查看。
执行命令: wget --help
$ wget --helpGNU Wget 1.20.3,非交互式的网络文件下载工具。
用法: wget [选项]... [URL]...长选项所必须的参数在使用短选项时也是必须的。启动:-V, --version 显示 Wget 的版本信息并退出-h, --help 打印此帮助-b, --background 启动后转入后台-e, --execute=命令 运行一个“.wgetrc”风格的命令日志和输入文件:-o, --output-file=文件 将日志信息写入 FILE-a, --append-output=文件 将信息添加至 FILE-d, --debug 打印大量调试信息-q, --quiet 安静模式 (无信息输出)-v, --verbose 详尽的输出 (此为默认值)-nv, --no-verbose 关闭详尽输出,但不进入安静模式--report-speed=类型 以 <类型> 报告带宽。类型可以是 bits-i, --input-file=文件 下载本地或外部 <文件> 中的 URL-F, --force-html 把输入文件当成 HTML 文件-B, --base=URL 解析相对于 URL 的 HTML 输入文件链接 (-i -F)--config=文件 指定要使用的配置文件--no-cookies 不读取任何配置文件--rejected-log=文件 将拒绝 URL 的原因写入 <文件>。下载:-t, --tries=数字 设置重试次数为 <数字> (0 代表无限制)--retry-connrefused 即使拒绝连接也是重试--retry-on-http-error=ERRORS 提供以逗号分隔的列表,列出遇到时进行重试的 HTTP 错误-O, --output-document=文件 将文档写入 FILE-nc, --no-clobber 不要下载已存在将被覆盖的文件--no-netrc 不要尝试从 .netrc 获取凭据-c, --continue 断点续传下载文件--start-pos=偏移量 从由零计数的 <偏移量> 开始下载--progress=类型 选择进度条类型--show-progress 在任意啰嗦状态下都显示进度条-N, --timestamping 只获取比本地文件新的文件--no-if-modified-since 不要在时间戳 (timestamping) 模式下使用if-modified-since get 条件请求--no-use-server-timestamps 不用服务器上的时间戳来设置本地文件-S, --server-response 打印服务器响应--spider 不下载任何文件-T, --timeout=SECONDS 将所有超时设为 SECONDS 秒--dns-timeout=SECS 设置 DNS 查寻超时为 SECS 秒--connect-timeout=SECS 设置连接超时为 SECS 秒--read-timeout=SECS 设置读取超时为 SECS 秒-w, --wait=SECONDS 等待间隔为 SECONDS 秒--waitretry=SECONDS 在获取文件的重试期间等待 1..SECONDS 秒--random-wait 获取多个文件时,每次随机等待间隔 (0.5~1.5)*WAIT 秒--no-proxy 禁止使用代理-Q, --quota=数字 设置获取配额为 <数字> 字节--bind-address=ADDRESS 绑定至本地主机上的 ADDRESS (主机名或是 IP)--limit-rate=RATE 限制下载速率为 RATE--no-dns-cache 关闭 DNS 查询缓存--restrict-file-names=系统 限定文件名中的字符为 <系统> 允许的字符--ignore-case 匹配文件/目录时忽略大小写-4, --inet4-only 仅连接至 IPv4 地址-6, --inet6-only 仅连接至 IPv6 地址--prefer-family=地址族 首先连接至指定家族(IPv6,IPv4 或 none)的地址--user=用户 将 ftp 和 http 的用户名均设置为 <用户>--password=密码 将 ftp 和 http 的密码均设置为 <密码>--ask-password 提示输入密码--use-askpass=命令 指定用于请求用户名和密码的凭据管理器。如果没有提供指定命令,程序将使用 WGET_ASKPASS 或SSH_ASKPASS 环境变量。--no-iri 关闭 IRI 支持--local-encoding=ENC 使用 ENC 作为 IRI (国际化资源标识符) 的本地编码--remote-encoding=ENC 使用 ENC 作为默认远程编码--unlink 覆盖前移除文件--xattr 在文件的拓展属性中储存元数据目录:-nd, --no-directories 不创建目录-x, --force-directories 强制创建目录-nH, --no-host-directories 不要创建主 (host) 目录--protocol-directories 在目录中使用协议名称-P, --directory-prefix=前缀 保存文件到 <前缀>/..--cut-dirs=数字 忽略远程目录中 <数字> 个目录层。HTTP 选项:--http-user=用户 设置 http 用户名为 <用户>--http-password=密码 设置 http 密码为 <密码>--no-cache 不使用服务器缓存的数据。--default-page=NAME 改变默认页 (通常是“index.html”)。-E, --adjust-extension 以合适的扩展名保存 HTML/CSS 文档--ignore-length 忽略头部的‘Content-Length’区域--header=字符串 在头部插入 <字符串>--compression=类型 选择压缩类型,值可以为 auto、gzip 和 none。(默认:none)--max-redirect 每页所允许的最大重定向--proxy-user=用户 使用 <用户> 作为代理用户名--proxy-password=密码 使用 <密码> 作为代理密码--referer=URL 在 HTTP 请求头包含‘Referer: URL’--save-headers 将 HTTP 头保存至文件。-U, --user-agent=代理 标识自己为 <代理> 而不是 Wget/VERSION。--no-http-keep-alive 禁用 HTTP keep-alive (持久连接)。--no-cookies 不使用 cookies。--load-cookies=文件 会话开始前从 <文件> 中载入 cookies。--save-cookies=文件 会话结束后保存 cookies 至 FILE。--keep-session-cookies 载入并保存会话 (非永久) cookies。--post-data=字符串 使用 POST 方式;把 <字串>作为数据发送。--post-file=文件 使用 POST 方式;发送 <文件> 内容。--method=HTTP方法 在请求中使用指定的 <HTTP 方法>。--post-data=字符串 把 <字串> 作为数据发送,必须设置 --method--post-file=文件 发送 <文件> 内容,必须设置 --method--content-disposition 当选择本地文件名时允许 Content-Disposition头部 (实验中)。--content-on-error 在服务器错误时输出接收到的内容--auth-no-challenge 不先等待服务器询问就发送基本 HTTP 验证信息。HTTPS (SSL/TLS) 选项:--secure-protocol=PR 选择安全协议,值可以是 auto、SSLv2、SSLv3、TLSv1、TLSv1_1、TLSv1_2 或 PFS--https-only 只跟随安全的 HTTPS 链接--no-check-certificate 不要验证服务器的证书。--certificate=文件 客户端证书文件。--certificate-type=类型 客户端证书类型,PEM 或 DER。--private-key=文件 私钥文件。--private-key-type=类型 私钥文件类型,PEM 或 DER。--ca-certificate=文件 带有一组 CA 证书的文件。--ca-directory=DIR 保存 CA 证书的哈希列表的目录。--ca-certificate=文件 带有一组 CA 证书的文件。--pinnedpubkey=文件/散列值 用于验证节点的公钥(PEM/DER)文件或任何数量的 sha256 散列值,以 base64 编码、“sha256//” 开头、用“;”间隔--random-file=文件 用于初始化 SSL 伪随机数生成器(PRNG)的文件,应含有随机数据--ciphers=STR 直接设置 priority string (GnuTLS) 或 cipher list string (OpenSSL)。请小心使用。该选项会覆盖 --secure-protocol。其具体格式和字符串语法取决于对应的 SSL/TLS 引擎。
HSTS 选项:--no-hsts 禁用 HSTS--hsts-file HSTS 数据库路径(将覆盖默认值)FTP 选项:--ftp-user=用户 设置 ftp 用户名为 <用户>。--ftp-password=密码 设置 ftp 密码为 <密码>--no-remove-listing 不要删除‘.listing’文件--no-glob 不在 FTP 文件名中使用通配符展开--no-passive-ftp 禁用“passive”传输模式--preserve-permissions 保留远程文件的权限--retr-symlinks 递归目录时,获取链接的文件 (而非目录)FTPS 选项:--ftps-implicit 使用隐式 FTPS(默认端口 990)--ftps-resume-ssl 打开数据连接时继续控制连接中的 SSL/TLS 会话--ftps-clear-data-connection 只加密控制信道;数据传输使用明文--ftps-fallback-to-ftp 回落到 FTP,如果目标服务器不支持 FTPS
WARC 选项:--warc-file=文件名 在一个 .warc.gz 文件里保持请求/响应数据--warc-header=字符串 在头部插入 <字符串>--warc-max-size=数字 将 WARC 的最大尺寸设置为 <数字>--warc-cdx 写入 CDX 索引文件--warc-dedup=文件名 不要记录列在此 CDX 文件内的记录--no-warc-compression 不要 GZIP 压缩 WARC 文件--no-warc-digests 不要计算 SHA1 摘要--no-warc-keep-log 不要在 WARC 记录中存储日志文件--warc-tempdir=目录 WARC 写入器的临时文件目录递归下载:-r, --recursive 指定递归下载-l, --level=数字 最大递归深度 (inf 或 0 代表无限制,即全部下载)。--delete-after 下载完成后删除本地文件-k, --convert-links 让下载得到的 HTML 或 CSS 中的链接指向本地文件--convert-file-only 只转换 URL 的文件部分(一般叫做“基础名”/basename)--backups=N 写入文件 X 前,轮换移动最多 N 个备份文件-K, --backup-converted 在转换文件 X 前先将它备份为 X.orig。-m, --mirror -N -r -l inf --no-remove-listing 的缩写形式。-p, --page-requisites 下载所有用于显示 HTML 页面的图片之类的元素。--strict-comments 用严格方式 (SGML) 处理 HTML 注释。递归接受/拒绝:-A, --accept=列表 逗号分隔的可接受的扩展名列表-R, --reject=列表 逗号分隔的要拒绝的扩展名列表--accept-regex=REGEX 匹配接受的 URL 的正则表达式--reject-regex=REGEX 匹配拒绝的 URL 的正则表达式--regex-type=类型 正则类型 (posix|pcre)-D, --domains=列表 逗号分隔的可接受的域名列表--exclude-domains=列表 逗号分隔的要拒绝的域名列表--follow-ftp 跟踪 HTML 文档中的 FTP 链接--follow-tags=列表 逗号分隔的跟踪的 HTML 标识列表--ignore-tags=列表 逗号分隔的忽略的 HTML 标识列表-H, --span-hosts 递归时转向外部主机-L, --relative 仅跟踪相对链接-I, --include-directories=列表 允许目录的列表--trust-server-names 使用重定向 URL 的最后一段作为本地文件名-X, --exclude-directories=列表 排除目录的列表-np, --no-parent 不追溯至父目录请将错误报告、问题和讨论寄信至 <bug-wget@gnu.org>
和/或在 https://savannah.gnu.org/bugs/?func=additem&group=wget 开 issue 进行讨论。
wget 命令的使用:HTTP文件下载、FTP文件下载相关推荐
- linux ftp下载文件_Linux系统中10个使用Wget命令下载文件示例
wget 是一个从网络上自动下载文件的命令行工具,支持通过 HTTP.HTTPS.FTP 三个最常见的 TCP/IP协议 下载,并可以使用 HTTP 代理.它是一个非交互式工具,非常适合通过脚本或者在 ...
- wget 命令 指定文件夹_linux下面ftp/wget命令下载文件夹目录
目标ftp服务器是一个非标准端口的ftp 1.通过shell登录 #ftp //shell下输入ftp命令,进入到ftp提示符 >open IP PORT //IP ,PORT对应为 ...
- Gradle之FTP文件下载
Gradle之FTP文件下载 1.背景 项目上需要使用本地web,所以我们直接将web直接放入assets资源文件夹下.但是随着开发进行web包越来越大:所以我们想着从版本库里面去掉web将其忽略掉, ...
- linux 安装 ftp 以及 将ftp文件下载到指定目录
1. ftp 的安装 rpm -qa |grep vsftpd 2. 安装命令 yum -y install vsftpd 3.新增FTP用户 useradd -d /home/ftp ftpuser ...
- Java实现Ftp文件下载及图片预览
* 功能描述: 通过浏览器的方式下载ftp文件 * @Param: [url, port, username, password, ftpFilePath, fileName, response] * ...
- ini文件怎么使用_ftp文件下载工具,ftp文件下载工具是怎么使用的?使用指南
ftp文件下载工具是什么工具,可能有人会回答说不知道,因为一般只有从事网站管理的工作者会使用的多一点.但不是每个人生来就会的,所以刚开始肯定都会学习怎么使用.这篇文章就来教一下大家ftp文件下载工具是 ...
- java ftp下载文件源码_java实现ftp文件下载的源代码
这几天做的一个项目中用到了ftp文件传输,用java实现了ftp文件的下载. 一.win7下搭建ftp服务器 详见:http://jingyan.baidu.com/article/4b52d7026 ...
- php curl ftp下载文件,php使用curl实现ftp文件下载功能的方法
这篇文章主要为大家详细介绍了php使用curl实现ftp文件下载功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下 具体内容如下 不知道为什么用正常的ftp_get函数下载文件速度特别慢,但是用f ...
- 【Linux】FTP文件下载
代码来源于网络,记录下,方便日后使用(适用于Linux平台) /*使用FTP协议获取服务器上的文件(Passive方式) 1 在客户端创建一个SOCK_STREAM类型的套接字,并与FTP服务器端的2 ...
- linux中wget命令
Linux系统中的wget是一个下载文件的工具,它用在命令行下.对于Linux用户是必不可少的工具,我们经常要下载一些软件或从远程服务器恢复备份到本地服务器.wget支持HTTP,HTTPS和FTP协 ...
最新文章
- 舒工深度解析不规则场地座位二维码生成规则
- 揭秘特斯拉自动驾驶雄心:最大优势非算法或技术而是海量数据
- String Split 和 Join
- 读书笔记之Unix命令
- 笔记本关于虚拟机桥接小问题
- wps多人协作后怎么保存_蜂蜜开封后能放多久?蜂蜜开封后怎么保存?蜂蜜存放要注意事项...
- cuda、cudnn相关问题链接
- 20172304 2017-2018-2 《程序设计与数据结构》第六周学习总结
- java quartz TriggerBuilder
- Android开发笔记(四十六)手机相关事件
- android动画鸿阳,18. Activity淡入淡出动画
- hystrix参数使用方法
- web项目docker化的两种方法
- H5+canvas+js实现连线题
- 易辅客栈网页游戏脚本实战(绝世仙王)
- python主成分分析_Python主成分分析-经典案例分析
- 小白学习编程遇到问题应该如何正确的提问
- 一条命令(dd)制作Centos(Linux)优盘(U盘)启动盘
- 超火的口红机源码分享
- 亚马逊跨境电商平台怎么入驻?
热门文章
- 爱普生传真服务器网页,爱普生传真机如何发传真 爱普生传真机快速发传真技巧【详解】...
- upf模板,来自synopsys rm golden.upf
- MATLAB 入门之旅【官方基础教程】
- 基于改进SSIM算法的图像清晰度识别
- mouse_event() 控制鼠标操作
- 三菱触摸屏怎么改时间_三菱plc的触摸屏程序,三菱触摸屏如何更改时间
- UltraEdit使用正则表达式(通配符)进行查找和替换
- 中山一院:华南第一综合性三甲医院的 IT 基础架构转型实践
- HDU 4289 Control (最大流最小割)
- 解决xftp6 要继续使用此程序您必须应用最新的更新或使用新版本