街拍美图的爬取主要还是在崔老师和其他的博客上的基础上修改的,这篇文章里,我学习了爬取了B站的视频封面,由于能力有限,代码只能一次爬取一张。

首先进去B站首页

然后偶选择一个你觉得好看的视频,点进去,还是观察Network这一栏的信息

终于,我们找到了一栏信息

在这一栏我们可以看到data中包含了视频的很多信息,我们直接把pic对应的url在网上搜索,得到了封面,

所以我们现在要做的就是用python从URL=‘https://api.bilibili.com/x/web-interface/view?aid=66698107&cid=115671196’中请求得到结果然后将其中的pic提取出来,下面直接上代码

1 importjson2 importos3 importre4 importrequests5 from urllib importrequest6 av = input('请输入要查询的AV号:')7 url = 'https://api.bilibili.com/x/web-interface/view?aid=%s'%(av,)8

9 headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.167 Safari/537.36',10 'Referer': 'https://www.bilibili.com/v/douga?spm_id_from=333.334.b_62696c695f646f756761.2',11 #'Accept': 'text / html, application / xhtml + xml, application / xml;q = 0.9, image / webp, image / apng, * / *;q = 0.8, application / signed - exchange;v = b3'

12 #这部分Headers一直报错,查了博客发现不写也可以直接爬

13 #'Accept-Encoding':'gzip, deflate, br',

14 #'Accept - Language':'zh-CN,zh;q=0.9',

15 #'Cache - Control':'max - age =',

16 #'Connection':'keep - alive'

17 }18 response = requests.get(url,headers=headers)19 content =json.loads(response.text)20 #获取到的是str字符串 需要解析成json数据

21 statue_code = content.get('code')22 if statue_code ==0:23 print(content.get('data').get('pic'))24 print(content.get('data').get('title'))25 img=content.get('data').get('pic')26 name=re.sub("[A-Za-z0-9\!\%\[\]\,\。/]", "",content.get('data').get('title'))        #这部分用了正则,因为发现B站的有些视频名称会有些标点符号,会导致不能命名文件

#所以用正则只提取字符串中中文字符作为文件名27 request.urlretrieve(img,name+'.jpg') #保存为title

28 else:29 print('该AV号不存在')

代码中的statue_code在data数据中可以看到,经过分析知道了其用来表示请求数据的状态,在statue_code == 0的时候,才会有数据

在文件名这块由于B站的有些视频名称会有些标点符号,会导致不能命名文件,所以加了正则,去掉除中英文以外的其他字符。

最后爬取的结果:

在文件夹中:

欢迎大家来一起探讨学习

python爬取b站视频封面_Python实战爬虫——B站封面爬取相关推荐

  1. python抓取腾讯视频弹幕_Python实战 | 如何抓取腾讯视频弹幕

    原标题:Python实战 | 如何抓取腾讯视频弹幕 当代年轻人的快乐是网络给的. 如果有人吐槽周末太无聊,他们一定会反驳: 是追剧不香吗? 是吃鸡不好玩吗? 周末辣么短,怎么会无聊呢? 诚然,追剧和游 ...

  2. 用python爬取网站数据期末作业_python实战第一周作业:爬取一页商品数据

    刚刚完成了本周的作业,开始很奇怪除了推广和转转没有正常的商品了...询问之后就开始抓转转吧,整体感觉难度不大,较好的实践了本周的知识. 我的成果 Paste_Image.png 我的代码 from b ...

  3. python中data.find_all爬取网站为空列表_Python网络爬虫之Scrapy 框架-分布式【第二十九节】...

    1. 介绍scrapy-redis框架 scrapy-redis 一个三方的基于redis的分布式爬虫框架,配合scrapy使用,让爬虫具有了分布式爬取的功能. github地址: https://g ...

  4. iphone看python文件_Python实战 | 只需 ”三步“ 爬取二手iphone手机信息(转发送源码)...

    原标题:Python实战 | 只需 "三步" 爬取二手iphone手机信息(转发送源码) 本次实战是爬取二手苹果手机的信息,共爬取了300部手机信息,效果如下: 开发环境 环境:M ...

  5. python天涯帖子_python 网络爬虫(一)爬取天涯论坛评论

    我是一个大二的学生,也是刚接触python,接触了爬虫感觉爬虫很有趣就爬了爬天涯论坛,中途碰到了很多问题,就想把这些问题分享出来, 都是些简单的问题,希望大佬们以宽容的眼光来看一个小菜鸟

  6. python3 [入门基础实战] 爬虫入门之xpath爬取脚本之家python栏目

    这次爬取的确实有些坎坷,经过了两个晚上吧,最后一个晚上还是爬取数据到最后一公里了,突然报错了.又得继续重新进行爬取 先来个爬取结果图,这次爬取的是标题,url,还有日期,估计也就只有这么多内容,用的单 ...

  7. python抓取腾讯视频弹幕_Python爬虫练习:腾讯视频弹幕数据采集

    前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理 以下文章来源于菜鸟学Python数据分析 1.网页分析 本文以爬取<脱 ...

  8. python爬取豆瓣电影并分析_Python实战之如何爬取豆瓣电影?本文教你

    爬虫又称为网页蜘蛛,是一种程序或脚本. 但重点在于,它能够按照一定的规则,自动获取网页信息. 爬虫的基本原理--通用框架 1.挑选种子URL: 2.讲这些URL放入带抓取的URL列队: 3.取出带抓取 ...

  9. python 爬虫动态网页的区别_Python开发爬虫之动态网页抓取篇:爬取博客评论数据——通过Selenium模拟浏览器抓取...

    区别于上篇动态网页抓取,这里介绍另一种方法,即使用浏览器渲染引擎.直接用浏览器在显示网页时解析 HTML.应用 CSS 样式并执行 JavaScript 的语句. 这个方法在爬虫过程中会打开一个浏览器 ...

  10. python动态页面元素爬取_Python开发爬虫之动态网页抓取篇:爬取博客评论数据——通过浏览器审查元素解析真实网页地址...

    由于主流网站都使用JavaScript展示网页内容,和前面简单抓取静态网页不同的是,在使用JavaScript时,很多内容并不会出现在HTML源代码中,而是在HTML源码位置放上一段JavaScrip ...

最新文章

  1. Git 技术篇 - GitHub克隆私有仓库方法,新主机绑定并同步github私有库实例演示
  2. [转] Java, 使用 Reactor 进行反应式编程
  3. c语言i=5.6a=(int)i,第一章C语言概述.ppt
  4. Android WatchDog正解
  5. Java基础:什么是返回对象
  6. python的简单实用小工具(未完待续......)
  7. springboot 使用mybatis与mybatis-generator与druid (gradle构建)
  8. 2019最新QQ音乐Api
  9. RFC791:INTERNET PROTOCOL网络协议
  10. 【调剂】厦门大学信息学院2022年硕士研究生复试名单及调剂预通知
  11. git 删除历史记录
  12. 「HEOI 2014」南园满地堆轻絮
  13. 网课笔记 ☀ 经济学原理课后习题及答案
  14. 别忽悠我,征信真的有黑名单吗?
  15. canvas实现水印效果
  16. 大家都是在哪些网站找数据?
  17. LVGL misc log日志系统(lv_log.h)
  18. SQL在线自助查询平台
  19. ASP.NET MVC3 快速入门
  20. 秋招面试之测试开发绿盟

热门文章

  1. android wp主题,WP主题:ebou4
  2. python接外包_程序员到底要不要接外包?
  3. 恶意样本分析手册——理论篇
  4. 【软件测试】测试人终将迎来末路?测试人的我35岁就坐等失业?
  5. 手机淘宝app、xsign签名算法
  6. 8、项目管理基础知识
  7. [java] 汇率换算器实现(3)
  8. PHP-FPM 配置文件详解
  9. 2.8 复习 定语从句 将来进行时 将来完成时
  10. PyQt设置右下角弹窗(转)