1 介绍

很多时候我们需要在网络上下载资源，但是本机网络由于各种限制，速度极慢，此时需要获取下载信息，到特定服务器下载数据。

第一种情况：
大部分资源直接是资源的具体地址，该地址直接包含文件名，如https://www2.spsc.tugraz.at/databases/PTDB-TUG/SPEECH_DATA_ZIPPED.zip
，此时直接点击该链接就可以下载，也可以复制该路径，到指定服务器上通过wget 来下载(通常用aws或者gcp来下载海外资源);

此处直接通过文件绝对路径下载，使用 --limit-rate=10m 限制下载速度最高为10m/s：
wget -c --limit-rate=10m  https://www2.spsc.tugraz.at/databases/PTDB-TUG/SPEECH_DATA_ZIPPED.zip

第二种情况：
资源包含了下载链接，但该链接不是资源的绝对地址，直接通过wget在服务器是无发下载的；或者该文件需要登陆账号认证，直接获取下载地址后，在服务器上也无法通过wget等命令直接使用的；
此时我们需要通过某种方式获取资源下载时候的url、完整headers、认证信息；具体方法可以结合代理插件和postman获取相关下载命令，下文将对该方法进行详细介绍。

2 使用方法

2.1 安装配置 Proxy SwitchyOmega

在google web store 搜索Proxy SwitchyOmega，并下载安装插件；
设置使用proxy功能，并配置http和https端口
此处配置http 和 http 代理端口都为5555，该端口后续要在postman中使用；
配置server 为127.0.0.1，即本机；
配置好打开proxy功能；

2.2 配置postman

下载并安装postman
配置proxy
如图，在Capture -》 Requests -》Source-》选择Proxy，设置Capture Requests为on，设置端口为5555；
该配置设置成功后，在goole上访问的http和https都会被5555端口捕获到，进一步根据破获的内容获取其下载命令；

2.3 测试

下载数据集 [M2VoC MST and TSV data.zip](M2VoC MST and TSV data.zip)
https://fft.cloud.iqiyi.com/s/bYT2m6t?direct=1&access=3uTJiz
很明显，该数据可以在浏览器下载，但是直接copy该地址是无法在服务器上下载的，此时postman就可以派上用场了；

在浏览器上点击该网址生成访问记录，在postman中找到具体访问信息
如下图捕获到访问记录了，单机Save 右下角的Code就可以看到各种下载信息了；

此处直接获取wget命令即可，将这些命令完整copy上，即可在对应的服务器上下载了；

wget --no-check-certificate --quiet \--method GET \--timeout=0 \--header 'accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9' \--header 'accept-encoding: gzip, deflate, br' \--header 'accept-language: en-US,en;q=0.9' \--header 'connection: keep-alive' \--header 'cookie: session=MTYwODAwMzI1OXxEdi1CQkFFQ180SUFBUkFCRUFBQVRmLUNBQUlHYzNSeWFXNW5EQW9BQ0hOb1lYSmxYMmxrQm5OMGNtbHVad3dKQUFkaVdWUXliVFowQm5OMGNtbHVad3dKQUFkaGRYUm9YMmxrQm5OMGNtbHVad3dKQUFkaVdWUXliVFowfLbcN1QnSNX6ke5LnPoVr5-lrB3Hs1aqQUpnB5T3rLLE' \--header 'host: fft.cloud.iqiyi.com' \--header 'sec-fetch-dest: document' \--header 'sec-fetch-mode: navigate' \--header 'sec-fetch-site: cross-site' \--header 'sec-fetch-user: ?1' \--header 'upgrade-insecure-requests: 1' \--header 'user-agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 11_0_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36' \
'https://fft.cloud.iqiyi.com/s/bYT2m6t?direct=1&access=3uTJiz'

3 说明

postman 官网下载postman app
webstore 下载SwitchyOmega

资源下载--使用Proxy SwitchyOmega+postman下载资源相关推荐

Python爬虫——Proxy SwitchyOmega安装和使用
Proxy SwitchyOmega 是一款非常优秀的浏览器插件,适用于 Chrome 和 Firefox,它可以轻松快捷地管理和切换 IP 代理. 下载安装插件 Proxy SwitchyOmega ...
Proxy SwitchyOmega
Google proxy SwitchyOmega实际是最新的Proxy SwitchySharp属于一奶同胞.以前有使用Proxy SwitchySharp的同学可能发现最近此应用已经无法正常使用, ...
【Proxy SwitchyOmega】Chrome安装插件【提示程序包无效:“CRX_HEADER_INVALID“】【解决方法】
问题 Proxy SwitchyOmega 插件下载地址:https://github.com/FelisCatus/SwitchyOmega/releases 下最新的版本. 在谷歌浏览器输入chr ...
机器学习/深度学习资源下载合集（持续更新...）
这篇文章转载自「译智社」的成员 -- 林夕的文章机器学习/深度学习资源下载集合(持续更新-).如果你对人工智能感兴趣,欢迎关注公众号 -- 译智社. 从入门到进阶,所用到机器学习资料,包括书.视频.源 ...
Java网络编程之实现资源下载详解【王道Java】
文章目录一,前言二,实现资源下载三,资源下载的客户端四,资源下载的服务器端五,附源码: 5.1,资源下载的客户端 5,2 ,资源下载的服务器端六,最后一,前言有一个作业需求,如下: 实 ...
Proxy SwitchyOmega安装和使用
Proxy SwitchyOmega安装和使用 Proxy SwitchyOmega 是一款非常优秀的浏览器插件,适用于 Chrome 和 Firefox,它可以轻松快捷地管理和切换 IP 代理. 下 ...
HTTP协议和资源下载
1.简单的HTTP协议 HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写.HTTP 协议和 TCP/IP 协议族内的其他众多的协议相同, 用于客户端和服务 ...
WordPress资源下载主题插件 | WP资源下载管理插件
WP资源下载管理WordPress插件适用于资源下载类博客,支持站长发布文章时为访客提供本地下载.百度网盘及城通网盘等多种下载方式下载文章资源,并且支持设置登录会员或者评论回复后下载权限. 插件下载: ...
攻略：将网上资源下载到服务器上
有时候需要将网上的资源下载到Ubuntu16.04上,可以遵循以下步骤. 直接运行wget -c URL ,如果此法出现连接超时或者下载下来的文件大小只有1KB,暂时就不要折腾cookies或者pro ...

资源下载--使用Proxy SwitchyOmega+postman下载资源