python批量下载文件

在已经有文件url的前提下，批量下载文件。

在excel文档中，保存url和文件名/编号。

request读取网页内容，filetype判断文件类型，批量下载保存。

需要安装filetype包：pip install filetype

# -*- coding: utf-8 -*-
"""
Created on Mon Feb 22 10:24:35 2021@author: weisssun
"""
import requests
import pandas as pd
import filetypemyHeaders = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}# 定义文件下载函数 downloadFiledef downloadFile(url,savePath):# 将网页链接 url，文件夹路径 savePath 作为参数传入try:webPage = requests.get(url, headers = myHeaders, timeout=5)#print(webPage.status_code)# 获取网页webContent = webPage.content# 网页内容file_type = filetype.guess(webContent).extension# 识别文件类型#print(file_type)file_path = savePath + fileId + '.' + file_type# 根据文件夹路径、文件名id、文件类型，组合文件保存路径f = open(file_path, 'wb')f.write(webContent)# 将网页内容写入保存路径中f.close()except requests.exceptions.RequestException:print(fileId + '超时')# 读取excel表格data = pd.read_excel(r'D:\保存url和文件编号的文档.xlsx')
#data = pd.read_excel(r'D:\保存url和文件编号的文档.xlsx', sheet_name='abc')# 下载文件保存文件夹
savePath = 'D:/文件下载/'for i in data.index:fileId = str(data.loc[i, '编号'])url = str(data.loc[i, 'url'])if url == 'nan':continueelse:downloadFile(url,savePath)

python批量下载文件相关推荐

python批量下载文件-Python实现批量下载文件
Python实现批量下载文件 #!/usr/bin/env python # -*- coding:utf-8 -*- from gevent import monkey monkey.patch_a ...
python批量下载文件-python使用selenium实现批量文件下载
背景实现需求:批量下载联想某型号的全部驱动程序. 一般在做网络爬虫的时候,都是保存网页信息为主,或者下载单个文件.当涉及到多文件批量下载的时候,由于下载所需时间不定,下载的文件名不定,所以有一定的困 ...
python批量下载文件只有1kb_Python 实现批量从不同的Linux服务器下载文件
基于Python实现批量从不同的Linux服务器下载文件 by:授客 QQ:1033553122 实现功能批量从不同的Linux服务器下载指定文件测试环境 Win7 64位 Python 3.3. ...
python批量下载文件教程_Python抓包菜鸟教程：批量下载图片的方法，电脑和手机都能用...
笔者看上了一组图集,然后准备一张一张下载时,瞄了一眼,这组图集还有100+,好吧,我酸了. 笔者就是试试工具,你们别像我这样用,这么好的工具,做自媒体,那绝对了那如何批量下载几百张图片呢?教程开始了 ...
python批量下载文件教程_超简单超详细python小文件、大文件、批量下载教程
按照不同的情况,python下载文件可以分为三种: 小文件下载大文件下载批量下载 python 小文件下载流程:使用request.get请求链接,返回的内容放置到变量r中,然后将r写入到你想放 ...
python批量下载文件教程_零基础Python教程:教你爬取天堂网1920*1080大图片（批量下载）...
这篇文章将针对上篇文章的未尽事宜进行完善,完成图片的批量抓取. /2 图片网址解析/ 1. 我们首先来分析一下这个图片的地址在哪里.我们选择图片,然后右击网页检查,可以看到图片的路径,如下图所示. 2 ...
python批量下载文件-python 从远程批量下载文件到本地
需求: 1.从postgresql数据库中查出附件名称 2.从远程服务器下载对应的附件用到的python模块paramiko.psycopg2. paramiko是用python写的一个模块,遵循S ...
python 批量下载文件
之前给大家分享的python 多线程抓取网页,我觉的大家看了以后,应该会对python 抓取网页有个很好的认识,不过这个只能用python 来抓取到网页的源代码,如果你想用做python 下载文件的话 ...
python批量下载文件只有1kb_python 批量下载文件
原博文 2020-05-11 15:04 − 有时候看到好看的视频就想保存到本地,但是有的网站视频都是分段的,先去请求一个文件列表,再按照列表去拼接请求分段视频. 就类似这样:(这是开讲了某期的视频请 ...
python批量下载文件只有1kb_详解如何用python实现一个简单下载器的服务端和客户端...
话不多说,先看代码: 客户端: import socket def main(): #creat: download_client=socket.socket(socket.AF_INET,socke ...

python批量下载文件

python批量下载文件相关推荐

最新文章

热门文章