零基础如何学好python爬虫?python爬取B站小视频
B 站真是个神奇的网站。找不到资料了,去 B 站逛一逛,保准有你满意的东西。
前几天写了个爬虫,用 path、re、BeautifulSoup 爬取的 B 站 python 视频,如果要爬取多页的话 在最下方循环中 填写好循环的次数就可以了
B 站真是个神奇的网站。找不到资料了,去 B 站逛一逛,保准有你满意的东西。
前几天写了个爬虫,用 path、re、BeautifulSoup 爬取的 B 站 python 视频,如果要爬取多页的话 在最下方循环中 填写好循环的次数就可以了
废话不多说直接上源码:
1 '''2 在学习过程中有什么不懂得可以加我的3 python学习交流扣扣qun,6882442174 群里有不错的学习教程、开发工具与电子书籍。5 与你分享python企业当下人才需求及怎么从零基础学习好python,和学习什么内容。6 '''7 from fake_useragent import UserAgent8 import requests9 import time
10
11 ua=UserAgent()
12
13
14 def downloader(url, path):
15 start = time.time() # 开始时间
16 size = 0
17 headers = {18 'User-Agent':ua.random
19 }
20 response = requests.get(url, headers=headers, stream=True) # stream 属性必须带上
21 chunk_size = 1024 # 每次下载的数据大小
22 content_size = int(response.headers['content-length']) # 总大小
23 if response.status_code == 200:
24 print('[文件大小]:%0.2f MB' % (content_size / chunk_size / 1024)) # 换算单位
25 with open(path, 'wb') as file:
26 for data in response.iter_content(chunk_size=chunk_size):
27 file.write(data)
28 size += len(data) # 已下载的文件大小
29 print('\r' + '[下载进度]:%s%.2f%%' % ('>' * int(size * 50 / content_size), float(size / content_size *
30 100)), end=" ")
31 end = time.time() # 结束时间
32 print('\n' + '视频下载完成!用时%.2f秒' % (end - start))
33
34
35
36 def The_URL(page):
37 URL='http://api.vc.bilibili.com/board/v1/ranking/top?page_size=10&next_offset={}&tag=%E4%BB%8A%E6%97%A5%E7%83%AD%E9%97%A8&platform=pc'.format(page)
38 headers={39 'User-Agent':ua.random
40 }
41 sponse=requests.get(URL,headers=headers).json()
42 item=sponse.get('data').get('items')
43 for i in item:
44 ite=i.get('item')
45 #视频标题
46 Video_name=ite.get('description')
47
48 #发布日期
49 Release_time=ite.get('upload_time_text')
50
51 #视频下载地址
52 Video_download_link=ite.get('video_playurl')
53
54 #视频作者
55 The_name=i.get('user').get('name')
56
57 try:
58 print('当前下载的是:%s'%Video_name)
59 downloader(Video_download_link,path='%s.mp4'%Video_name)
60 except Exception as e:
61 print(e.args)
62
63 for i in range(0,100):
64 i=i*10+1
65 The_URL(i)
综上就是这次的全部内容,多加练习继续加油!
零基础如何学好python爬虫?python爬取B站小视频相关推荐
- python爬取b站视频封面_学习笔记(4)[Python爬虫]:爬取B站搜索界面的所有视频的封面...
学习笔记(4)[Python爬虫]:爬取B站搜索界面的所有视频的封面 import os import requests import re import json from bs4 import B ...
- json spr路驾驶技术视频api_每天弄个小爬取之Python爬取批量爬取B站小视频
1. 批量爬取B站小视频 哔哩哔哩网站(英文名称: bilibili),是年轻人的文化社区,被粉丝们亲切的称为B站.该网站中拥有动画.番剧.国创.音乐.舞蹈.游戏.科技.生活.鬼畜.娱乐.时尚等多个内 ...
- Python每日一练(9)-批量爬取B站小视频
目录 1. 批量爬取B站小视频 2. 获取动态请求的JSON数据 3. 随机生成浏览器的头部信息 4. 获取要下载视频的大小 5. 实时打印文件下载进度 1. 批量爬取B站小视频 哔哩哔哩网站(英文名 ...
- 每天弄个小爬取之Python爬取批量爬取B站小视频!
1. 批量爬取B站小视频 哔哩哔哩网站(英文名称: bilibili),是年轻人的文化社区,被粉丝们亲切的称为B站.该网站中拥有动画.番剧.国创.音乐.舞蹈.游戏.科技.生活.鬼畜.娱乐.时尚等多个内 ...
- 爬虫---爬取b站小视频
分析b站小视频 1.进入到抓取链接地址 2.分析抓取链接内容 通过F12或者抓包工具进行查看我们需要爬取的视频在哪里存放,页面以ajax动态加载的 3.分析请求内容和请求参数 通过查看请求内容得到这些 ...
- 如何去使用Python爬虫来爬取B站的弹幕数据?
哔哩哔哩众所周知是弹幕的天堂,视频观看人数越多,弹幕也就越多.今天小千就来教大家如何去使用Python开发一个爬虫来爬取B站的弹幕数据. 1.弹幕哪里找? 平常我们在看视频时,弹幕是出现在视频上的.实 ...
- python爬虫_爬取B站视频标题
着手写爬虫前,需要了解的几个概念: URL 全称 Uniform Resource Locator (统一资源定位器),格式为:协议+主机+端口+路径. 比如:https://www.bilibili ...
- 零基础如何学好python爬虫?之python爬取B站小视频
B 站真是个神奇的网站.找不到资料了,去 B 站逛一逛,保准有你满意的东西. 前几天写了个爬虫,用 path.re.BeautifulSoup 爬取的 B 站 python 视频,如果要爬取多页的话 ...
- python爬取抖音评论_使用python爬虫,批量爬取抖音app视频(requests+Fiddler+appium)
# _*_ coding: utf-8 _*_ import requests import sys headers = {"User-Agent":"Mozilla ...
最新文章
- 程序员面试拼多多,来看看这些面试题你掌握的有多少呢?
- HDU1520 Anniversary party 树形动态规划
- postMan下使用xdebug
- 我的世界末日求生系列服务器,末日生存 少年pi
- allergro音乐术语什么意思_这些关于刀具钢材的专业术语,你都知道是什么意思吗?...
- 服务器中安装多版本的cuda
- C# 关键字 virtual、override和new的用法
- Etcd超全解:原理阐释及部署设置的最佳实践
- python斐波那契递归_Python递归斐波那契示例
- 学生签到系统c代码_C++实现简单的学生管理系统
- 前端技术-HTML5与CSS
- 网络安全等级保护二级产品清单整理
- related_name
- 服务器的组件中支持冗余的包括,服务器冗余电源的作用
- 【C语言】如何优雅地进行嵌入式C开发?(万字总结)
- 雅诗兰黛公司发布2019会计年度企业责任报告,重点介绍公民责任和可持续发展目标进展
- 快速读论文----CKA----Similarity of Neural Network Representations Revisited
- 《DRM 专栏》| 彻底入门 DRM 驱动
- 支付原理及实现在线支付步骤
- 2022年最新江苏建筑特种工(施工升降机)模拟题库及答案
热门文章
- 从订单到回款(O2C)
- ARM64移动处理器解惑 iphone5s
- 被不良商家欺骗怎么投诉,启中教育有办法
- python名片系统管理源代码_python实现名片管理系统项目
- redis 缓存新闻列表
- php ajax parsererror,mui.ajax报错 error:parsererror
- ajax 失败textstatus,rails 3 jquery ajax调用与statusText失败:“parsererror”
- 马扎克(Mazak)Smart、Smooth系列 CNC数据采集(可免授权)
- centos7 安装 mysql5.6_CentOS 7 安装 MySQL 5.6遇到的各种问题小结
- 服务器怎搭建Linux,linux服务器怎么搭建