Python---20行代码爬取斗鱼平台房间数据(下)
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用
xlsxwriter
库来制作Excel表格。
工具:Python3.6.5,Pycharm
1.模块介绍
XlsxWriter模块具有的功能:
- 100%兼容Excel的*.xlsx文件,支持Excel2003,Excel2007等版本
- (Excel2003-和Excel2007的拓展名为*.xls)
- 支持所有Excel单元格数据格式
- 单元格合并、批注、自动筛选、丰富多格式字符串等
- 支持工作表JPG、PNG图像,自定义图标
- 内存优化模式支持写入大文件
2.模块安装
pip install xlsxwriter
# 在命令行中输入此代码
# 目前最新版本为1.0.0,官网文档介绍支持Python2.5-3.5,但目前使用Python3.6未发生异常
模块的具体用法可以参考这两个网站(感谢这两个网站提供解释):
官方xlsxwriter解释
CSDN吴芒果:XlsxWriter模块实现Excel操作
3.模块使用
import xlsxwriterworkbook = xlsxwriter.Workbook('Demo1.xlsx') # 创建一个名为‘Demo1.xlsx’的工作表
worksheet = workbook.add_worksheet() # 创建一个工作表对象worksheet.set_column('A:A', 20) # 设定第一列(A)的宽度为20px
# bold = workbook.add_format({'blod': True})worksheet.write('A1', 'Hello World!') # A1单元格写入‘Hello World!’
worksheet.write('A2', '你好,世界!') # A2单元格写入‘你好,世界!’# 行列表示法的单元格下标以0作为起始值,如‘3,0’等价于‘A4’
worksheet.write(2, 0, 123) # 使用列行表示法写入数字‘123’
worksheet.write(3, 0, 456) # 使用列行表示法写入数字‘456’
worksheet.write(4, 0, '=SUM(A3:A4)') # 求A3:A4的和,并写入‘4,0’,即‘A5’worksheet.insert_image('A5', 'XLSX.png') # 在A5单元格插入图片
workbook.close() # 关闭Excel文件
运行结果
4.如何运用到上一篇(爬取斗鱼房间数据)中去
上一篇链接
import requests
import json
import xlsxwriterworkbook = xlsxwriter.Workbook('E:\\DOUYU.xlsx')
worksheet = workbook.add_worksheet()
worksheet.set_column('A:A', 20)
worksheet.set_column('B:B', 10)
worksheet.set_column('C:C', 40)
worksheet.set_column('D:D', 10)
p = 0
urls = ['https://www.douyu.com/gapi/rkc/directory/2_1/{}'.format(page) for page in range(1, 5)]
for url in urls:res = requests.get(url)j = json.loads(res.text)l1 = j['data']l2 = l1['rl']p = p+1for i in range(len(l2)):Anchor = l2[i]['nn'] # 获取主播名字RoomNumber = l2[i]['rid'] # 获取房间号Heat = l2[i]['ol'] # 获取热度RoomName = l2[i]['rn'] # 获取房间名worksheet.write(int(i+120*(p-1)), 0, Anchor) worksheet.write(int(i+120*(p-1)), 1, RoomNumber)worksheet.write(int(i+120*(p-1)), 2, RoomName)worksheet.write(int(i+120*(p-1)), 3, Heat)
# i+120*(p-1):120是因为每一页有120个房间,本次爬取了5页房间数据,用了p = p+1来使得Excel表格能连续记录数据
# 当时遇到的问题:在不添加120*(p-1)时,发现只能爬取120个房间数据,再看了遍代码,发现数据是被覆盖了
workbook.close()
print('斗鱼房间数据已保存')
主播、房间号、房间名、热度
- 后续可以使用Excel的排序,制表等功能来处理数据,或者用BDP来处理!
有发现错误或看不懂的可以在评论区提出,一定会第一时间回复你!
如对你有帮助记得关注点赞哦!
Python---20行代码爬取斗鱼平台房间数据(下)相关推荐
- 利用python爬取飞猪信息_Python---20行代码爬取斗鱼平台房间数据(下)-阿里云开发者社区...
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
- python爬斗鱼直播_Python---20行代码爬取斗鱼平台房间数据(下)
在上一篇中,已经详细的讲解了如何获取数据,接下来是深度处理数据,这里调用xlsxwriter库来制作Excel表格. 工具:Python3.6.5,Pycharm 1.模块介绍 XlsxWriter模 ...
- python房子代码,Python---20行代码爬取斗鱼平台房间数据(上)
本期用到json,requests库来爬取网页信息,这次爬的是一个特殊多页式网站,普通多页式网站只需分析不同页面的url,找出其中的不同点,用for in来循环即可,但是斗鱼的https://www. ...
- Python---20行代码爬取斗鱼平台房间数据(上)
本期用到json,requests库来爬取网页信息,这次爬的是一个特殊多页式网站,普通多页式网站只需分析不同页面的url,找出其中的不同点,用for in来循环即可,但是斗鱼的https://www. ...
- python爬取付费直播的视频_教你用20行代码爬取直播平台弹幕(附源码)
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
- python获取虎牙弹幕_教你用20行代码爬取直播平台弹幕(附源码)
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等案例教程视频免费在线观看 https://space. ...
- python 20行代码爬取王者荣耀全英雄皮肤
引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了.我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行Python代码即可完成. 准备工 ...
- 简单20行代码爬取王者荣耀官网1080p壁纸
简单20行代码爬取王者荣耀官网1080p壁纸 # -*- coding: utf-8 -*- # @Time : 2020/12/13 18:08 # @Author : ningfangcong i ...
- python:利用20行代码爬取网络小说
文章目录 前言 一.爬虫是什么? 二.实现过程 总结 提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 前言 今天,来给大家一个分享一下如何使用20爬虫行代码爬取网络小说(这里我们以龙 ...
最新文章
- [Job Interview] C/C plus plus Programming
- Oracle XTTS跨平台数据库迁移(从Unix迁移数据库到Linux)_Oracle数据库迁移项
- HDFS只支持文件append操作, 而依赖HDFS的HBase如何完成增删改查功能
- iOS 9应用开发教程之创建iOS 9项目与模拟器介绍
- P4597 序列sequence
- Silver Cow Party POJ - 3268 (固定起点和固定终点的最短路)
- spark sql uv_使用Spark Streaming SQL进行PV/UV统计
- caffe调用的一个例子
- 程序员如何自制酒店 Wi-Fi?
- 计算机c盘如何扩大,电脑c盘怎么扩大
- PAT (Basic Level) Practice1006 换个格式输出整数
- ADB工具使用教程(新手总结笔记)
- 使用Hive SQL计算数列统计值
- 计算机C盘能扩展吗,为什么电脑c盘没有扩展卷(原因揭秘及扩大c盘空间的方式)...
- java做一个客房管理系统定制_java实现客房管理系统
- RISC-V MCU将常量定义到指定的Flash地址
- Qt开发环境下载和安装
- mysql numeric int_关于mysql数据库的数据类型numeric和decimal_MySQL
- InstantOC2.2.2
- 【MySQL】MySQL乱码全面解析
热门文章
- 龙门标局:注册地理标志证明商标有什么作用
- python hank_python optparse模块
- CCNA 中文读书笔记四
- 4款暗藏惊喜的Windows软件,硬核又实用,满足你工作中各种需求
- linux 搭建 虚拟专用网络 (pptpd )
- ae制h5文字动画_绝对干货!H5动画制作方法全揭秘
- 程序开发团队之团队精神篇(转)
- flip game java_LeetCode 293. Flip Game
- 条码打印机换碳带的方法
- 樊登读书赋能读后感_樊登读书会本周末视频解读新书:《赋能》拉开你与别人的差距,决定你人生的高度...