python爬斗鱼直播_Python---20行代码爬取斗鱼平台房间数据(下)
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格。
工具:Python3.6.5,Pycharm
1.模块介绍
XlsxWriter模块具有的功能:
100%兼容Excel的*.xlsx文件,支持Excel2003,Excel2007等版本
(Excel2003-和Excel2007的拓展名为*.xls)
支持所有Excel单元格数据格式
单元格合并、批注、自动筛选、丰富多格式字符串等
支持工作表JPG、PNG图像,自定义图标
内存优化模式支持写入大文件
2.模块安装
pip install xlsxwriter
# 在命令行中输入此代码
# 目前最新版本为1.0.0,官网文档介绍支持Python2.5-3.5,但目前使用Python3.6未发生异常
3.模块使用
import xlsxwriter
workbook = xlsxwriter.Workbook('Demo1.xlsx') # 创建一个名为‘Demo1.xlsx’的工作表
worksheet = workbook.add_worksheet() # 创建一个工作表对象
worksheet.set_column('A:A', 20) # 设定第一列(A)的宽度为20px
# bold = workbook.add_format({'blod': True})
worksheet.write('A1', 'Hello World!') # A1单元格写入‘Hello World!’
worksheet.write('A2', '你好,世界!') # A2单元格写入‘你好,世界!’
# 行列表示法的单元格下标以0作为起始值,如‘3,0’等价于‘A4’
worksheet.write(2, 0, 123) # 使用列行表示法写入数字‘123’
worksheet.write(3, 0, 456) # 使用列行表示法写入数字‘456’
worksheet.write(4, 0, '=SUM(A3:A4)') # 求A3:A4的和,并写入‘4,0’,即‘A5’
worksheet.insert_image('A5', 'XLSX.png') # 在A5单元格插入图片
workbook.close() # 关闭Excel文件
运行结果
4.如何运用到上一篇(爬取斗鱼房间数据)中去
import requests
import json
import xlsxwriter
workbook = xlsxwriter.Workbook('E:\\DOUYU.xlsx')
worksheet = workbook.add_worksheet()
worksheet.set_column('A:A', 20)
worksheet.set_column('B:B', 10)
worksheet.set_column('C:C', 40)
worksheet.set_column('D:D', 10)
p = 0
urls = ['https://www.douyu.com/gapi/rkc/directory/2_1/{}'.format(page) for page in range(1, 5)]
for url in urls:
res = requests.get(url)
j = json.loads(res.text)
l1 = j['data']
l2 = l1['rl']
p = p+1
for i in range(len(l2)):
Anchor = l2[i]['nn'] # 获取主播名字
RoomNumber = l2[i]['rid'] # 获取房间号
Heat = l2[i]['ol'] # 获取热度
RoomName = l2[i]['rn'] # 获取房间名
worksheet.write(int(i+120*(p-1)), 0, Anchor)
worksheet.write(int(i+120*(p-1)), 1, RoomNumber)
worksheet.write(int(i+120*(p-1)), 2, RoomName)
worksheet.write(int(i+120*(p-1)), 3, Heat)
# i+120*(p-1):120是因为每一页有120个房间,本次爬取了5页房间数据,用了p = p+1来使得Excel表格能连续记录数据
# 当时遇到的问题:在不添加120*(p-1)时,发现只能爬取120个房间数据,再看了遍代码,发现数据是被覆盖了
workbook.close()
print('斗鱼房间数据已保存')
主播、房间号、房间名、热度
后续可以使用Excel的排序,制表等功能来处理数据,或者用BDP来处理!
有发现错误或看不懂的可以在评论区提出,一定会第一时间回复你!
如对你有帮助记得关注点赞哦!
python爬斗鱼直播_Python---20行代码爬取斗鱼平台房间数据(下)相关推荐
- 简单20行代码爬取王者荣耀官网1080p壁纸
简单20行代码爬取王者荣耀官网1080p壁纸 # -*- coding: utf-8 -*- # @Time : 2020/12/13 18:08 # @Author : ningfangcong i ...
- python:利用20行代码爬取网络小说
文章目录 前言 一.爬虫是什么? 二.实现过程 总结 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 前言 今天,来给大家一个分享一下如何使用20爬虫行代码爬取网络小说(这里我们以龙 ...
- 20行代码爬取王者荣耀全英雄皮肤!让你享受白嫖的快乐!
引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行代码即可完成. 准备工作 爬取皮肤 ...
- python爬取付费直播的视频_教你用20行代码爬取直播平台弹幕(附源码)
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
- python获取虎牙弹幕_教你用20行代码爬取直播平台弹幕(附源码)
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
- python 20行代码爬取王者荣耀全英雄皮肤
引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行Python代码即可完成. 准备工 ...
- python爬虫爬取图片代码_python爬虫-20行代码爬取王者荣耀所有英雄图片,小白也轻轻松松...
1.环境python3.6 需要用到的库: re.os.requests 2.简介 王者荣耀可以算得上是比较受欢迎的手游之一了,应该有不少的人都入坑过农药,我们今天的目的就是要爬取王者荣耀的高清英雄壁 ...
- python爬虫-20行代码爬取王者荣耀所有英雄图片,小白也轻轻松松
1.环境 python3.6 需要用到的库: re.os.requests 2.简介 王者荣耀可以算得上是比较受欢迎的手游之一了,应该有不少的人都入坑过农药,我们今天的目的就是要爬取王者荣耀的高清英雄 ...
- python抓取交易所_Python百行代码抓取美股三大交易所历史数据
最近闲来无事,琢磨着去投资下美股,投资嘛,当然得先分析下市场行情个股行情啦, 分析就需要有数据,那么数据从哪里来呢,当然是从交易所官方网站获取咯.自己动手丰衣足食,于是花了点时间写个Python脚本来 ...
- 20行代码爬取原神角色全图
python爬取原神官网所有角色的全身图 需要的工具 python环境 原神首页链接 https://ys.mihoyo.com/main/ 一个.py文件 话不多说,直接开整 用到的库有 impor ...
最新文章
- 商汤科技总裁张文谈人工智能: 未来10年到20年会有巨大爆发 下一个井喷是AI+教育
- SpringMVC_数据校验
- ThreadLocal的使用
- C# DateTimePicker控件设置空时间
- Cobaltstrike4.0系列教程(一)----简介与安装
- 关于windows server 2016 更新CVE-2020-1472漏洞补丁的问题
- idea运行springboot出现 Disconnected from the target VM, address: ‘127.0.0.1:xxxx‘, transport: ‘socket‘
- Discuz搜索模块解析
- java thread queue_java线程池技术(一):ThreadFactory与BlockingQueue
- PR音频处理——音乐逐渐萎靡的效果
- linux的内存available,Linux中available内存的计算
- SpringMVC类型转换遇到的问题
- 2022 极术通讯-安谋科技参与起草的PSA相关物联网终端安全标准介绍(电信终端产业协会发布)
- 接口中的变量public static final
- Javascript-API-BOM、动画函数、网页轮播图、节流阀、筋斗云、固定侧边栏返回顶部案例
- 微信支付body中文乱码解决方案
- 关于浏览器极速模式怎么设置
- 特征值是否重根与特征向量及基础解系的关系
- Circle seal 532B-1M-1有一种幸福叫微笑
- 巅峰诞生虚伪的拥护,黄昏见证虔诚的使徒
热门文章
- 把HTML5静态网页部署到阿里云服务器
- 昆山达华机器人_华达科技把机器人用“活”了 来源:泰州日报记者 顾海燕 通讯员 张颖 秋敏...
- 数据预处理1 Preprocessing Impute
- 泰国商家频繁被问是否支持手机付款,竟向游客放大招!
- 清华大学计算机科学与技术系副教授张敏:当人工智能“科学遇到艺术”的一点杂谈...
- 分片集群实验(1)--雷哥
- 泰国的IPv6功能已从约2%增至30%,部署率位于全球5名
- 2023年财务管理案例研究与应用(圆桌)论坛在京举办
- Qone中的国际化java类
- 从输入URL到浏览器显示页面到底经历了什么?