【Python爬虫】使用urllib.request下载已知链接的网络资源

如果有这样一个场景，我们的EXCEL某一列记录了好多（图片、视频、音频）链接A，另外一列记录了链接名称B，现在我们想要自动下载这些链接的文件，我们应该怎样处理？
1.循环去excel取值,将A和B存入到一个二维列表中
2.根据链接后缀不同情况（.jpg,.mp4,mp3等）用urllib.request去下载内容

具体代码如下：

'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''
#作者：cacho_37967865
#博客：https://blog.csdn.net/sinat_37967865
#文件：getFile.py
#日期：2018-11-24
#备注：获取excel文件中下载信息存入到列表，然后循环去取数据下载文件（mp4,mp3,jpg,pdf等）
'''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''''import xlrd
import urllib.request
import osdef get_excel_cell(xlsFile,num,nrows):data = xlrd.open_workbook(xlsFile)table = data.sheets()[0]cellData = []# 获取指定列数据for i in range(num, nrows):              # 控制行数（开始i=num处理），（结束i=nrows不处理）row = []className = table.cell_value(i, 3)   # 第4列课程名称row.append(className)classUrl = table.cell_value(i, 4)    # 第5列课程下载路径row.append(classUrl)cellData.append(row)return cellDatadef get_video(folder,url,fileName,fileType):os.chdir(folder)                           # 切换到将要存放文件的目录file = open(fileName + fileType, "wb")     # 打开文件try:req = urllib.request.Request(url=url)req.add_header("User-Agent","Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.76 Mobile Safari/537.36")video = urllib.request.urlopen(req, timeout=40)mp4 = video.read()                     # 将文件转换为bytes格式file.write(mp4)                        # 文件写入print(type(file),type(req),type(video),type(mp4))except Exception as f:print(str(f))file.close()if __name__ == '__main__':videoInfo = get_excel_cell('F:\PythonProject\Pacong\docs\yuyus185.xls',182,183)for i in range(len(videoInfo)):fileName = videoInfo[i][0]url = videoInfo[i][1]fileType = url[-4:]          # 截取最后4位，可以判断内容的类型（.jpg,.mp4,mp3等）print(fileName,fileType,url)get_video('F:\SoftwareTest',url,fileName,fileType)

【Python爬虫】使用urllib.request下载已知链接的网络资源相关推荐

python爬虫用urllib还是reques,python爬虫中urllib.request和requests有什么区别？
在学习python爬虫,想要检索request相关内容时,往往会出现urllib.request和requests这两个词,urllib.request和requests都是python爬虫的模块,其 ...
利用python爬虫(part1)--urllib.request模块
学习笔记文章目录网络爬虫概述定义爬虫分类爬取数据步骤爬虫请求模块常用方法 urllib.request.urlopen()方法响应对象(response)方法关于请求头 urllib ...
Python爬虫之urllib.request的使用
需要的模块 urllib.request 获取get一个请求这里以百度为例 r = urllib.request.urlopen("http://www.baidu.com") ...
python爬虫之壁纸的下载
python爬虫之壁纸的下载好久没有写博客了,暑假这段时间在学校里面忙着写小论文,没机会写我最喜欢的爬虫了(虽然很简单,但架不住哥喜欢...) 好了,废话不多说了,开始把本次爬虫爬取的是手机壁纸 ...
Python爬虫——利用Scrapy批量下载图片
Python爬虫--利用Scrapy批量下载图片 Scrapy下载图片项目介绍使用Scrapy下载图片项目创建项目预览创建爬虫文件项目组件介绍 Scrapy爬虫流程介绍页面结构分析定义I ...
Python爬虫之urllib模块2
Python爬虫之urllib模块2 本文来自网友投稿作者:PG-55,一个待毕业待就业的二流大学生. 看了一下上一节的反馈,有些同学认为这个没什么意义,也有的同学觉得太简单,关于Beautiful ...
Crawler：爬虫基于urllib.request库实现获取指定网址上的所有图片
Crawler:爬虫基于urllib.request库实现获取指定网址上的所有图片目录输出结果核心代码输出结果核心代码 # coding=gbk import urllib.request ...
python爬虫之urllib库详解
python爬虫之urllib库详解前言一.urllib库是什么? 二.urllib库的使用 urllib.request模块 urllib.parse模块利用try-except,进行超时处理 ...
Python爬虫进阶——urllib模块使用案例【淘宝】
Python爬虫基础--HTML.CSS.JavaScript.JQuery网页前端技术 Python爬虫基础--正则表达式 Python爬虫基础--re模块的提取.匹配和替换 Python爬虫基础- ...

【Python爬虫】使用urllib.request下载已知链接的网络资源

【Python爬虫】使用urllib.request下载已知链接的网络资源相关推荐

最新文章

热门文章