python爬取微博热门消息(一)——效果展示
微博的热搜榜对于研究大众的流量有非常大的价值。
今天的教程就来说说如何爬取微博的热搜榜。
感兴趣的小伙伴可以 收藏 + 关注 哦!
另外,关于本项目的效果展示,以及教程,点击一下链接即可。
python爬取微博热门消息(二)—— configs中参数的设置及程序执行过程
python爬取微博热门消息(三)—— 爬取微博热门信息的功能函数
python爬取微博热门消息(四)—— 完整代码
下面,我就介绍一下我的项目效果以及文件结构。
目录
一、目标
二、效果展示
三、文件结构
一、目标
利用 python 爬取微博热门消息榜以及榜单上的热门消息的内容(切记,这里爬取的是公开的微博数据!!!)
并将其保存到本地。
我将会在后面的几篇文章展示我的教程,感兴趣的小伙伴可以 关注 哦!!!
二、效果展示
以2021年1月11日17:46的热搜榜为例
1、控制台输出我们爬取到的微博热搜榜
- 网页版微博热搜内容
- 控制台微博热搜内容
2、控制台输出我们爬取到的热搜内容
以其中某一个热搜为例,即‘ 6:迪丽热巴双马尾 ’
- 网页版微博热搜内容
- 控制台微博热搜内容
3、爬取到的数据我们将其存储到本地,文本内容以txt形式存储
以其中某一个热搜为例,即‘ 6:迪丽热巴双马尾 ’
三、文件结构
1、文件结构
2、information文件夹
information文件存储我们爬取到的信息,注:该文件自动创建,无需手动创建
该文件下的结构为:
-- infoimation
-- 2021-01-11_1746 ------ 命名方式:year-month-day_time,为当前时间。当前时间下爬取的所有热搜内容均存于当前文件夹下
-- 01_***.txt ------ 命名方式:数字_热搜关键词.txt。存储该热搜话题的所有内容
-- 02_***.txt
-- 50_***.txt
-- top.txt ------ 命名方式:top.txt。存储该热搜话题的所有内容
-- topic.txt ------ 命名方式:topic.txt。存储当前时间下的所有热搜关键词
示例:
(1)topic.txt
(2) 其中每个热搜信息的内容均以热搜话题命名,并以txt文件形式保存
2、config.py
该文件为配置文件,一些参数可以在这里修改。
3、MicroBlog.py
该文件中包含一些爬取微博数据的函数
python爬取微博热门消息(一)——效果展示相关推荐
- python爬取微博热门消息(三)—— 爬取微博热门信息的功能函数
微博的热搜榜对于研究大众的流量有非常大的价值. 今天的教程就来说说如何爬取微博的热搜榜. 感兴趣的小伙伴可以 收藏 + 关注 哦! 另外,关于本项目的效果展示,以及教程,点击一下链接即可. pytho ...
- python爬取微博用户信息(一)—— 效果展示
有时,我们想要了解一个人,一般会通过ta的微博.朋友圈以及朋友的看法去了解. 特别是面对自己喜欢的明星,我们常常会浏览ta的微博,了解ta的动态. 那么,在大数据时代,数据已经成为了不可缺少的一部分, ...
- 看看你爱的他今天是什么‘颜色‘ -- Python爬取微博评论制作专属偶像词云
简介:快来拿出你珍藏的pick star,用大家对他的爱重塑一个他吧.通过爬取微博评论,制作你的偶像图片词云,天天都是不重样的哦! 很多人学习python,不知道从何学起. 很多人学习python,掌 ...
- python爬取微博热搜榜
python爬取微博热搜榜 最近应我大学室友得需求,做了一个简单的爬虫案例,先给大家看一下程序运行效果 接下来就是贴出代码了,在这里我会做一些简单说明,对如刚入门的同学可能会有所帮助,这里使用的是py ...
- python爬取微博热搜写入数据库_python实现爬取微博热搜存入Mysql
python爬取微博热搜存入Mysql最终的效果 使用的库 目标分析 一:得到数据 二:链接数据库 总代码 最终的效果 废话不多少,直接上图 这里可以清楚的看到,数据库里包含了日期,内容,和网站lin ...
- python爬取微博用户信息(六)—— 完整代码
本节为爬取微博用户信息的完整代码,以及项目结构. 感兴趣的小伙伴可以收藏哦! 另外,关于本代码的效果展示,以及教程,点击以下链接即可. python爬取微博用户信息(一)-- 效果展示 python爬 ...
- python爬取微博用户信息(四)—— 爬取用户信息的功能函数
这一节,将会将 MicroBlog.py 文件中的函数介绍一下. 感兴趣的小伙伴可以收藏哦! 另外,关于本代码的效果展示,以及教程,点击以下链接即可. python爬取微博用户信息(一)-- 效果展示 ...
- 1-3 用Python爬取微博上电影主题的热度(主题的阅读数和讨论数)
1-3 用Python爬取微博上电影主题的热度(主题的阅读数和讨论数) 1 weiboHeat.py 2 #-*- coding:utf-8 -*- 3 ''' 4 该脚本可以从wap版的微博网站上爬 ...
- python爬取微博用户信息(三)—— 创建MicroBlog类实例
这一节,主要讲述 main.py文件,该文件创建了一个MicroBlog类,MicroBlog类中包含一些爬取微博内容的函数. 以及简单介绍traceback的用法. 感兴趣的小伙伴可以收藏哦! 另外 ...
最新文章
- CodeForces 721C Journey
- Sun Solaris 9 下Squid 代理服务器的配置笔记
- 踏上《软件设计精要与模式》第二版的征途
- 今年阿里双十一CDN要冲历史之最,峰值带宽达到5000G+,来高手分析一下他们的CDN节点数量和规模...
- 用python写注册登录_用Python实现web端用户登录和注册功能的教程
- c#用canny算子做边缘提取_机器视觉学习(三)边缘检测
- CV+医疗领域实践项目!适合入门的图像分类领域新赛事
- Sturts2 与android的图片上传交互
- 长连接和短连接(转)
- 同步和异步的区别_LED显示屏的同步控制卡和异步控制卡是什么?它们的区别在哪里?...
- 毕设题目:Matlab图像压缩
- 当要写验证性的代码时,利用git进行代码管理
- coherence-based label propagation over time series for accelerated active learning
- 中药槲皮素-AKT1与木犀草素IL6/VEGFA直接结合抑制骨关节炎
- 关联规则分析(频繁项集查找方法为apriori方法的Fk-1*Fk-1)
- 最新PHP对接微信支付,发起商家转账API,商家转账到零钱
- iPhone 8 和 8 Plus 发布!双面全玻璃设计,配置提升
- iOS 7、iOS 8屏幕适配
- 【转载】Android 面试总结
- Spark数据挖掘实例1:基于 Audioscrobbler 数据集音乐推荐