ajax headers 参数有什么用_动态爬虫(ajax)-爬取bilibili热门视频信息
前言
使用python爬虫爬取bilibli每日热门视频的数据
使用的第三方软件包括requests、my_fake_useragent
一、页面分析
在进行爬虫之前,我们先要对要爬取的页面进行分析,找到想要使用的接口
bilibili热门排行的地址:https://www.bilibili.com/v/popular/all?spm_id_from=333.851.b_7072696d61727950616765546162.3
如果我们直接进行http请求
import requestsurl = 'https://www.bilibili.com/v/popular/all?' 'spm_id_from=333.851.b_7072696d61727950616765546162.3'response = requests.get(url)print(response.text)
你会发现,返回回来的html里面什么信息都没有,更别提去处理了
这是因为,这个页面是使用动态html来进行生成的。你去请求这个url,只会返回一个框架,里面的内容是由ajax&js动态生成的
所以,我们要捕获对方用来动态生成页面的接口,以此来请求信息
————————————————————————————————————————
那么,怎么捕获这个接口呢?
在这个页面中,我们点击F12进入开发者模式,选取network栏,过滤XHR(即ajax)
我们发现,每加载一批新的视频,页面都会调用一个接口
瞅一眼response
可以看到,所有视频的信息都在里面
所以,可以确定使用接口名叫做https://api.bilibili.com/x/web-interface/popular
ps和pn都是参数,ps是page_size代表每一页的视频个数,pn是page_num,代表请求的页数
为了确定接口的可用性,用浏览器请求一次试试
灰常成功,可以开心地写程序了!
二、编写爬虫
这个爬虫的大概流程就是访问对于每一页发送一个请求,解析数据后保存到/popular/page_n文件夹下
1.引入库
import requestsimport my_fake_useragentimport timeimport jsonimport os
2.发出请求
2.1生成请求头
def get_headers(): """ 生成响应头 :return: 生成的响应头 """ # 随机生成user_agent user_agent = my_fake_useragent.UserAgent() ua = str(user_agent.random()) headers = { 'user-agent': ua } return headers
2.2发出请求并获取响应
def get_response(url, page=1, headers=get_headers()): """ 请求该url并获得响应 :param url: 要请求的url :param page: 要请求的页数 :param headers: 请求头部 :return: 对于请求的响应 """ # 请求的参数 params = { 'ps': '20', 'pn': str(page) } try: # 发出请求 response = requests.get(url=url, params=params, headers=headers) except Exception as e: # 异常识别 return None return response
3.解析响应的内容
刚刚返回的响应特别乱,根本看不懂里面的元素是怎么排列的,所以先去json在线解析解析一下
可以看到,list里面存储了所有的视频对象(Object),我们只需要把它取出来再遍历就行了
def parse_text(text=None): """ 解析响应的文本 :param text:响应的文本 :return: 由信息字典组成的列表[{info1}, {info2}, {info3}] """ # 将json文件解析为字典 data = json.loads(text) """ data['data']是一个字典,包含若干数据 data['data']['list']是一个字典组成的list,包含每个视频的信息 """ ret_list = [] temp_dict = {} # 提取数据,生成返回列表 for list_dict in data['data']['list']: # 保存标题 temp_dict['title'] = list_dict['title'] # 保存封面图片的地址 temp_dict['pic'] = list_dict['pic'] # 保存描述 temp_dict['desc'] = list_dict['desc'] # 保存投稿用户id temp_dict['name'] = list_dict['owner']['name'] # 保存观看量 temp_dict['view'] = list_dict['stat']['view'] # 保存收藏数 temp_dict['favorite'] = list_dict['stat']['favorite'] # 保存投币数 temp_dict['coin'] = list_dict['stat']['coin'] # 保存分享数 temp_dict['share'] = list_dict['stat']['share'] # 保存点赞数 temp_dict['like'] = list_dict['stat']['like'] # 保存BV号 temp_dict['bvid'] = list_dict['bvid'] # 将字典添加到返回列表 ret_list.append(temp_dict.copy()) # 清空字典 temp_dict.clear() return ret_list
4.保存提取的信息到本地
ef save_infos(infos=None, page=1, main_path=None): """ 保存信息到指定的文件夹 :param main_path: 主路径 :param infos: 要保存的信息 :param page: 要保存到的文件夹序号 """ # 让编译器识别一下列表,好把里面的方法识别出来。。。手懒 # infos = [].append(infos) # 创建子文件夹 dir_path = main_path + '/page%d' % page if not os.path.exists(dir_path): os.mkdir(dir_path) # 遍历读取到的信息 for info in infos: # 以bv号命名文件 file_path = dir_path + '/' +info['bvid'] + '.text' # 打开文件 with open(file_path, 'w', encoding='utf-8') as fp: # 遍历字典 for k, v in info.items(): fp.write('%s: %s' % (str(k), str(v))) fp.write('')
5.看看主函数
def main(): # 需要请求的url # 'https://api.bilibili.com/x/web-interface/popular?ps=20&pn=1' url = 'https://api.bilibili.com/x/web-interface/popular' # 创建主文件夹 main_path = url.split('/')[-1] if not os.path.exists(main_path): os.mkdir(main_path) # 设定起始页码 page_start = int(input('start: ')) page_end = int(input('end: ')) # page_start = 1 # page_end = 1 # 主循环开始 # 主循环开始 for i in range(page_end - page_start + 1): page_num = i + 1 # 请求页面并获得响应 print('第%d页开始下载……' % page_num) response = get_response(url=url, page=page_num, headers=get_headers()) # 判断请求是否成功 if not(response is None) and response.status_code == 200: # 请求成功 # 获取并解析响应的内容 text = response.text infos = parse_text(text) save_infos(infos=infos, page=page_num, main_path=main_path) print('第%d页下载完成' % page_num) else: # 请求失败 print('!!第%d页请求失败!!' % page_num) continue # 文明爬虫!!! time.sleep(3)
if __name__ == '__main__': print('开始') start_time = time.time() main() end_time = time.time() print('完成' % (end_time - start_time))
三、运行结果
感谢阅读!!!
多说一句,很多人学Python过程中会遇到各种烦恼问题,没有人解答容易放弃。小编是一名python开发工程师,这里有我自己整理了一套最新的python系统学习教程,包括从基础的python脚本到web开发、爬虫、数据分析、数据可视化、机器学习等。想要这些资料的可以关注小编,并在后台私信小编:“01”即可领取。
ajax headers 参数有什么用_动态爬虫(ajax)-爬取bilibili热门视频信息相关推荐
- python 获取json中最大值_详细解析 Python 爬取 bilibili 的视频、弹幕以及封面
本文使用 Zhihu On VSCode 创作并发布 环境 用到的 Python 库: Python 3.7 requests moviepy json re os 浏览器:Firefox/ 83.0 ...
- qq好友列表获取之动态爬虫清洗爬取好友列表数据 - 获取qq好友、群、群成员列表
qq好友列表获取之动态爬虫清洗爬取qq好友列表数据 - 获取qq好友ip.群.群成员列表.我们的好友列表要从 qzone 获取,现在打开 qzone 的链接 https://h5.qzone.qq.c ...
- python爬取bilibili数据_如何使用Python爬取bilibili视频(详细教程)
Python爬取bilibili视频 摘要 为了解决PC端的bilibili无法下载视频的问题,使用python语言可以实现一个能够爬取bilibili某个视频资源(不包括会员视频)的程序.采用整个视 ...
- python 爬取直播弹幕视频_调用斗鱼API爬取直播间弹幕信息(用户昵称及弹幕内容)...
调用斗鱼API爬取直播间弹幕信息(用户昵称及弹幕内容) 查看<斗鱼弹幕服务器第三方接入协议v1.4.1>,了解斗鱼API的使用方法,即如何连接斗鱼弹幕服务器.维持连接及获取弹幕信息 Pyt ...
- python爬取京东手机参数_python爬虫——分页爬取京东商城商品信息(手机为例)...
1.最近刚开始学习python 写了个爬虫练习,感觉主要是得会用F12查询网站结构代码.还涉及到反爬虫,每个网站都不一样,拿到的解析出的json数据格式也不同.得有些Web知识的基础才行. htt ...
- python爬取考研成绩什么时候出来_【python】爬取带CAS教务处信息
起因 一切的一切都要从一个安卓程序说起,我心血来潮想要做一个"易用"的移动端教务处,设计好了实体类,界面等等,突然发现!我没法直接在安卓里爬取出教务处的数据.内心一万只草泥马狂奔而 ...
- python爬取天天基金_「天天基金网每日净值」python爬虫简单爬取天天基金的基金信息和每日净值 - 金橙教程网...
天天基金网每日净值 fROM bs4 import BeautifulSoup import Requests import JSON import js2py import time from el ...
- python爬取b站用户_用Python爬取bilibili全站用户信息
教你用Python爬取哔哩哔哩全站用户信息 运行 下载 git clone https://github.com/cexll/bili_user_Spider.git 复制代码 运行环境 Window ...
- 通过动态获取cookie爬取国家企业信用信息公司系统
https://blog.csdn.net/fenglei0415/article/details/81865379 转载于:https://www.cnblogs.com/yuyu666/p/105 ...
最新文章
- Python 网络爬虫笔记3 -- Beautiful Soup库
- BGP属性+13条选路原则(转载)
- 从编解码、传输到基础架构 详解Bigo多媒体技术栈
- CSS基础(part19)--CSS3属性选择器
- 重装系统计算机无法启动,手把手教你电脑无法开机怎么重装系统
- 黑鲨4游戏手机开启预热:4>5+6+7 比竞品更胜一筹
- java 我爱你_Java初级教程-课程笔记
- Leetcode: Pascal's Triangle II
- 【CCCC】L2-012 关于堆的判断 (25分),,手写堆,二叉树编号,向上调整
- 黑盒测试9种常用方法
- extremecomponents相关大全
- 公达 TP-POS58G 打印机驱动
- html5+简约登录页面,简洁时尚的CSS3用户登录界面设计
- ASK,OOK,FSK,GFSK简介
- Android中的三级缓存机制
- 关于SIR模型性质的进一步摘录
- Mac电脑使用Charles抓取Android手机app的包
- 3dmax中格式批量互转obj批量转fbx等等
- zabbix agent安装配置
- 响应式网站如何实现?
热门文章
- 【OpenCV】直方图应用:直方图均衡化,直方图匹配,对比直方图
- SwiftUI3优秀文章 NavigationLink图片和文字显示蓝色或者图片无显示
- python对象三个特性_百度资讯搜索_python对象三个特性
- python汉诺塔算法_基于Python的汉诺塔求解中途算法
- css 一行显示_CSS笔记1
- vue模板html,VueJS模板
- python协程处理海量文件_python_实战篇_使用协程gevent模块实现多任务copyA文件夹到B文件夹...
- TCP报文发送的那些事
- kibana从入门到精通-Kibana安装
- 一家公司干了8年的程序员的年终总结