python爬取b站视频封面_Python实战爬虫——B站封面爬取
街拍美图的爬取主要还是在崔老师和其他的博客上的基础上修改的,这篇文章里,我学习了爬取了B站的视频封面,由于能力有限,代码只能一次爬取一张。
首先进去B站首页
然后偶选择一个你觉得好看的视频,点进去,还是观察Network这一栏的信息
终于,我们找到了一栏信息
在这一栏我们可以看到data中包含了视频的很多信息,我们直接把pic对应的url在网上搜索,得到了封面,
所以我们现在要做的就是用python从URL=‘https://api.bilibili.com/x/web-interface/view?aid=66698107&cid=115671196’中请求得到结果然后将其中的pic提取出来,下面直接上代码
1 importjson2 importos3 importre4 importrequests5 from urllib importrequest6 av = input('请输入要查询的AV号:')7 url = 'https://api.bilibili.com/x/web-interface/view?aid=%s'%(av,)8
9 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36',10 'Referer': 'https://www.bilibili.com/v/douga?spm_id_from=333.334.b_62696c695f646f756761.2',11 #'Accept': 'text / html, application / xhtml + xml, application / xml;q = 0.9, image / webp, image / apng, * / *;q = 0.8, application / signed - exchange;v = b3'
12 #这部分Headers一直报错,查了博客发现不写也可以直接爬
13 #'Accept-Encoding':'gzip, deflate, br',
14 #'Accept - Language':'zh-CN,zh;q=0.9',
15 #'Cache - Control':'max - age =',
16 #'Connection':'keep - alive'
17 }18 response = requests.get(url,headers=headers)19 content =json.loads(response.text)20 #获取到的是str字符串 需要解析成json数据
21 statue_code = content.get('code')22 if statue_code ==0:23 print(content.get('data').get('pic'))24 print(content.get('data').get('title'))25 img=content.get('data').get('pic')26 name=re.sub("[A-Za-z0-9\!\%\[\]\,\。/]", "",content.get('data').get('title')) #这部分用了正则,因为发现B站的有些视频名称会有些标点符号,会导致不能命名文件
#所以用正则只提取字符串中中文字符作为文件名27 request.urlretrieve(img,name+'.jpg') #保存为title
28 else:29 print('该AV号不存在')
代码中的statue_code在data数据中可以看到,经过分析知道了其用来表示请求数据的状态,在statue_code == 0的时候,才会有数据
在文件名这块由于B站的有些视频名称会有些标点符号,会导致不能命名文件,所以加了正则,去掉除中英文以外的其他字符。
最后爬取的结果:
在文件夹中:
欢迎大家来一起探讨学习
python爬取b站视频封面_Python实战爬虫——B站封面爬取相关推荐
- python抓取腾讯视频弹幕_Python实战 | 如何抓取腾讯视频弹幕
原标题:Python实战 | 如何抓取腾讯视频弹幕 当代年轻人的快乐是网络给的. 如果有人吐槽周末太无聊,他们一定会反驳: 是追剧不香吗? 是吃鸡不好玩吗? 周末辣么短,怎么会无聊呢? 诚然,追剧和游 ...
- 用python爬取网站数据期末作业_python实战第一周作业:爬取一页商品数据
刚刚完成了本周的作业,开始很奇怪除了推广和转转没有正常的商品了...询问之后就开始抓转转吧,整体感觉难度不大,较好的实践了本周的知识. 我的成果 Paste_Image.png 我的代码 from b ...
- python中data.find_all爬取网站为空列表_Python网络爬虫之Scrapy 框架-分布式【第二十九节】...
1. 介绍scrapy-redis框架 scrapy-redis 一个三方的基于redis的分布式爬虫框架,配合scrapy使用,让爬虫具有了分布式爬取的功能. github地址: https://g ...
- iphone看python文件_Python实战 | 只需 ”三步“ 爬取二手iphone手机信息(转发送源码)...
原标题:Python实战 | 只需 "三步" 爬取二手iphone手机信息(转发送源码) 本次实战是爬取二手苹果手机的信息,共爬取了300部手机信息,效果如下: 开发环境 环境:M ...
- python天涯帖子_python 网络爬虫(一)爬取天涯论坛评论
我是一个大二的学生,也是刚接触python,接触了爬虫感觉爬虫很有趣就爬了爬天涯论坛,中途碰到了很多问题,就想把这些问题分享出来, 都是些简单的问题,希望大佬们以宽容的眼光来看一个小菜鸟
- python3 [入门基础实战] 爬虫入门之xpath爬取脚本之家python栏目
这次爬取的确实有些坎坷,经过了两个晚上吧,最后一个晚上还是爬取数据到最后一公里了,突然报错了.又得继续重新进行爬取 先来个爬取结果图,这次爬取的是标题,url,还有日期,估计也就只有这么多内容,用的单 ...
- python抓取腾讯视频弹幕_Python爬虫练习:腾讯视频弹幕数据采集
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于菜鸟学Python数据分析 1.网页分析 本文以爬取<脱 ...
- python爬取豆瓣电影并分析_Python实战之如何爬取豆瓣电影?本文教你
爬虫又称为网页蜘蛛,是一种程序或脚本. 但重点在于,它能够按照一定的规则,自动获取网页信息. 爬虫的基本原理--通用框架 1.挑选种子URL: 2.讲这些URL放入带抓取的URL列队: 3.取出带抓取 ...
- python 爬虫动态网页的区别_Python开发爬虫之动态网页抓取篇:爬取博客评论数据——通过Selenium模拟浏览器抓取...
区别于上篇动态网页抓取,这里介绍另一种方法,即使用浏览器渲染引擎.直接用浏览器在显示网页时解析 HTML.应用 CSS 样式并执行 JavaScript 的语句. 这个方法在爬虫过程中会打开一个浏览器 ...
- python动态页面元素爬取_Python开发爬虫之动态网页抓取篇:爬取博客评论数据——通过浏览器审查元素解析真实网页地址...
由于主流网站都使用JavaScript展示网页内容,和前面简单抓取静态网页不同的是,在使用JavaScript时,很多内容并不会出现在HTML源代码中,而是在HTML源码位置放上一段JavaScrip ...
最新文章
- Git 技术篇 - GitHub克隆私有仓库方法,新主机绑定并同步github私有库实例演示
- [转] Java, 使用 Reactor 进行反应式编程
- c语言i=5.6a=(int)i,第一章C语言概述.ppt
- Android WatchDog正解
- Java基础:什么是返回对象
- python的简单实用小工具(未完待续......)
- springboot 使用mybatis与mybatis-generator与druid (gradle构建)
- 2019最新QQ音乐Api
- RFC791:INTERNET PROTOCOL网络协议
- 【调剂】厦门大学信息学院2022年硕士研究生复试名单及调剂预通知
- git 删除历史记录
- 「HEOI 2014」南园满地堆轻絮
- 网课笔记 ☀ 经济学原理课后习题及答案
- 别忽悠我,征信真的有黑名单吗?
- canvas实现水印效果
- 大家都是在哪些网站找数据?
- LVGL misc log日志系统(lv_log.h)
- SQL在线自助查询平台
- ASP.NET MVC3 快速入门
- 秋招面试之测试开发绿盟