python保存爬虫下载的图片和视频
本次是在django中完成
静态文件目录
拼接路径
图片路径
image=os.path.join(STATICFILES_DIRS[0],"audio") # os.path.join() 将多个路径拼接成一个完整的路径
视频路径
l_mp4 = os.path.join(STATICFILES_DIRS[0],"video")
①将下载的图片 保存进audio文件内
imga = requests.get(图片的链接)
image 是刚才拼接的路径 (不写路径使用默认路径 默认路径是当前运行文件的路径)
with open(image + "\{}".format(图片名称) + '.jpg', mode='wb') as f:f.write(imga.content)
②将下载的视频 保存进video文件内
response = requests.get(视频链接)
l_mp4 是拼接好的路径 这里用到了f
with open(f'{l_mp4}\{图片名称}.mp4', 'wb')as f:f.write(response.content)f.flush() #强行把缓冲区中的内容放到磁盘中
保存效果
附上 爬虫代码
import requests
from lxml import etree
import re
import time
import osurl='http://wallpaper.upupoo.com/store/browVi/1-0-0-1.htm'
headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'}response=requests.get(url,headers=headers)#利用lxml 对网址解析
html=etree.HTML(response.content.decode())# 爬取title
listTitle=html.xpath("/html/body/div[2]/div[4]/dl/dd/div[2]/p/text()")# print(listTitle)# 爬取每个视频的详情页链接(只有后半部分)
listurl = html.xpath('/html/body/div[2]/div[4]/dl/dd/div[1]/div/a/@href')
listU=[]# 遍历每个详情页
for index,i in enumerate(listurl):# 拼接成完整的详情页l_url = 'http://wallpaper.upupoo.com{}'.format(i)time.sleep(1)# 请求每个详情页res = requests.get(url=l_url)# 用正则匹配出详情页的MP4链接urls = re.findall("http://source.upupoo.com.*\.mp4", res.text)imgs = re.findall("http://source.upupoo.com.*\.jpg",res.text)# print(listTitle[index],urls)img= listTitle[index]# 路径image=os.path.join(STATICFILES_DIRS[0],"audio")l_mp4 = os.path.join(STATICFILES_DIRS[0],"video")print("第%d个图片下载中**" %(index + 1))print(imgs[index])imga = requests.get(imgs[index])with open(image + "\{}".format(listTitle[index]) + '.jpg', mode='wb') as f:f.write(imga.content)print("第%d个图片下载完成" % (index + 1))print("第{}个视频下载中**".format(index + 1))print(urls[0], listTitle[index])response = requests.get(urls[0])with open(f'{l_mp4}\{listTitle[index]}.mp4', 'wb')as f:f.write(response.content)f.flush() #强行把缓冲区中的内容放到磁盘中print("第%d个视频下载完成"%(index+1))
保存时注意路径
往期推荐
python + selenium 爬取猎聘招聘网
存 读csv
python保存爬虫下载的图片和视频相关推荐
- python实现爬虫下载美女图片
本文转自http://blog.csdn.net/hello_katty/article/details/46887937,所有权力归原作者所有. 本次爬取的贴吧是百度的美女吧,给广大男同胞们一些激励 ...
- python 使用爬虫下载京东图片
首先打开京东商城-手机专栏https://list.jd.com/list.html?cat=9987,653,655&page=1&sort=sort_rank_asc&tr ...
- python网络爬虫_爬图片
python网络爬虫_爬图片 1.安装 Beautifulsoup4 #解析返回的html与json数据pip install Beautifulsoup4 使用 : 运行后输入要 ...
- Python 保存 网页上的图片
使用Python保存网站上的图片. 测试网站是豆瓣电影上的海报网址 使用以下code成功的建立了一个文件夹,并且在其中 保存该页面上的17张海报图片(仅保存海报图片,其他图片不保存). 使用`Pyth ...
- Python3.x爬虫下载网页图片
Python3.x爬虫下载网页图片 一.选取网址进行爬虫 本次我们选取pixabay图片网站 url=https://pixabay.com/ 二.选择图片右键选择查看元素来寻找图片链接的规则 通过查 ...
- Python 简单爬虫下载小说txt
Python 简单爬虫下载小说txt #第一次写爬虫代码 欢迎交流指正 我们范例爬取的对象是笔趣阁的<圣墟> (最近非常火的连载小说) ##为什么选择笔趣阁# 主要是因为笔趣阁的源代码没有 ...
- 关于win11桌面出现桌面、音乐、文档、下载、图片、视频图标的问题
前言: 每次打开电脑看到以下六个图标,我都有点抓狂的感觉,然后让我有种不想打开电脑的冲动,让我丧失了玩电脑的积极性,总之,让我非常无奈.故此,我为了我的电脑要发起自己的反击,消灭它,才是对我自己的尊重 ...
- 利用Python爬虫下载王者荣耀教学视频
前言: 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手. 很多已经做案例的人,却不知道如何去学习更加高深的知识. 那么针对这三类人,我给 ...
- Python实用案例,Python脚本,Python实现批量下载百度图片
往期回顾 Python实现自动监测Github项目并打开网页 Python实现文件自动归类 Python实现帮你选择双色球号码 Python实现每日更换"必应图片"为"桌 ...
最新文章
- 针对 Windows Phone 7 上的独立存储的 Sterling
- 【spring boot】 禁用/关闭数据源/DataSource
- 天津盈克斯机器人科技_网红新科技,走进家居新时代|环渤海爱乐屋门窗amp;威卢克斯天窗双旦狂欢节送您一个温暖的家!...
- 人体工学腰垫,保腰神器,改善久坐腰酸背痛
- 【Linux系统编程学习】Linux进程控制原语(fork、exec函数族、wait)
- C#中的多文档的使用
- Kubernetes中使用CronJob定时备份etcd集群数据
- C#正则表达式判断字符串中是否有数…
- 【图像加密】基于matlab Logistic混沌图像加密与解密【含Matlab源码 1216期】
- python的浮点数_python 浮点数 转 整数python函数每日一讲 - all()
- 这两款实用的win10录屏软件,你们千万别错过
- Ovito中多晶材料晶粒分析方法介绍
- 单台服务器百万并发实现 C10K, C1000K, C10M
- 蚁群算法详解及其工程源码
- 虚化照片怎么弄?这几种方法很简单
- Android 弹幕(一)自定义
- idea的工具栏显示
- 关于timer.schedule只执行一次
- 设置按峰值带宽计费_计费系统—音视频云服务
- mediasoup 学习笔记 【二】Router 房间
热门文章
- c语言中return返回值的用法总结
- dblink创建以及出现问题
- Android Studio Bumblebee Patch 1(android-studio-2021.1.1.21 大黄蜂)下载地址
- photoshop---历史记录/历史记录画笔工具
- ajax get before,ajax async false beforeSend无效解决方案
- 最简单的针孔相机模型标定方法,使用Matlab进行快速可视化相机标定,小白专用,超详细
- Python应用之求100以内的奇数和
- 普通人想要创业成功的捷径是什么?
- Nidia的Deepstream,官方给的案例介绍,deepstream-test1\deepstream-tes2\deepstream-test5
- 蓝牙耳机连接ubuntu