微博的热搜榜对于研究大众的流量有非常大的价值。

今天的教程就来说说如何爬取微博的热搜榜

感兴趣的小伙伴可以 收藏 + 关注 哦!


另外,关于本项目的效果展示,以及教程,点击一下链接即可。

python爬取微博热门消息(二)—— configs中参数的设置及程序执行过程

python爬取微博热门消息(三)—— 爬取微博热门信息的功能函数

python爬取微博热门消息(四)—— 完整代码


下面,我就介绍一下我的项目效果以及文件结构。

目录

一、目标

二、效果展示

三、文件结构


一、目标

利用 python 爬取微博热门消息榜以及榜单上的热门消息的内容(切记,这里爬取的是公开的微博数据!!!)

并将其保存到本地。

我将会在后面的几篇文章展示我的教程,感兴趣的小伙伴可以 关注 哦!!!

二、效果展示

以2021年1月11日17:46的热搜榜为例

1、控制台输出我们爬取到的微博热搜榜

  • 网页版微博热搜内容

  • 控制台微博热搜内容

2、控制台输出我们爬取到的热搜内容

以其中某一个热搜为例,即‘ 6:迪丽热巴双马尾

  • 网页版微博热搜内容

  • 控制台微博热搜内容

3、爬取到的数据我们将其存储到本地,文本内容以txt形式存储

以其中某一个热搜为例,即‘ 6:迪丽热巴双马尾

三、文件结构

1、文件结构

2、information文件夹

information文件存储我们爬取到的信息,注:该文件自动创建,无需手动创建

该文件下的结构为:

--  infoimation

    --  2021-01-11_1746           ------ 命名方式:year-month-day_time,为当前时间。当前时间下爬取的所有热搜内容均存于当前文件夹下

         --  01_***.txt                   ------ 命名方式:数字_热搜关键词.txt。存储该热搜话题的所有内容

         --  02_***.txt

         --  50_***.txt

         --  top.txt                       ------ 命名方式:top.txt。存储该热搜话题的所有内容

         --  topic.txt                    ------ 命名方式:topic.txt。存储当前时间下的所有热搜关键词

示例:

(1)topic.txt

(2) 其中每个热搜信息的内容均以热搜话题命名,并以txt文件形式保存

2、config.py

该文件为配置文件,一些参数可以在这里修改。

3、MicroBlog.py

该文件中包含一些爬取微博数据的函数

python爬取微博热门消息(一)——效果展示相关推荐

  1. python爬取微博热门消息(三)—— 爬取微博热门信息的功能函数

    微博的热搜榜对于研究大众的流量有非常大的价值. 今天的教程就来说说如何爬取微博的热搜榜. 感兴趣的小伙伴可以 收藏 + 关注 哦! 另外,关于本项目的效果展示,以及教程,点击一下链接即可. pytho ...

  2. python爬取微博用户信息(一)—— 效果展示

    有时,我们想要了解一个人,一般会通过ta的微博.朋友圈以及朋友的看法去了解. 特别是面对自己喜欢的明星,我们常常会浏览ta的微博,了解ta的动态. 那么,在大数据时代,数据已经成为了不可缺少的一部分, ...

  3. 看看你爱的他今天是什么‘颜色‘ -- Python爬取微博评论制作专属偶像词云

    简介:快来拿出你珍藏的pick star,用大家对他的爱重塑一个他吧.通过爬取微博评论,制作你的偶像图片词云,天天都是不重样的哦! 很多人学习python,不知道从何学起. 很多人学习python,掌 ...

  4. python爬取微博热搜榜

    python爬取微博热搜榜 最近应我大学室友得需求,做了一个简单的爬虫案例,先给大家看一下程序运行效果 接下来就是贴出代码了,在这里我会做一些简单说明,对如刚入门的同学可能会有所帮助,这里使用的是py ...

  5. python爬取微博热搜写入数据库_python实现爬取微博热搜存入Mysql

    python爬取微博热搜存入Mysql最终的效果 使用的库 目标分析 一:得到数据 二:链接数据库 总代码 最终的效果 废话不多少,直接上图 这里可以清楚的看到,数据库里包含了日期,内容,和网站lin ...

  6. python爬取微博用户信息(六)—— 完整代码

    本节为爬取微博用户信息的完整代码,以及项目结构. 感兴趣的小伙伴可以收藏哦! 另外,关于本代码的效果展示,以及教程,点击以下链接即可. python爬取微博用户信息(一)-- 效果展示 python爬 ...

  7. python爬取微博用户信息(四)—— 爬取用户信息的功能函数

    这一节,将会将 MicroBlog.py 文件中的函数介绍一下. 感兴趣的小伙伴可以收藏哦! 另外,关于本代码的效果展示,以及教程,点击以下链接即可. python爬取微博用户信息(一)-- 效果展示 ...

  8. 1-3 用Python爬取微博上电影主题的热度(主题的阅读数和讨论数)

    1-3 用Python爬取微博上电影主题的热度(主题的阅读数和讨论数) 1 weiboHeat.py 2 #-*- coding:utf-8 -*- 3 ''' 4 该脚本可以从wap版的微博网站上爬 ...

  9. python爬取微博用户信息(三)—— 创建MicroBlog类实例

    这一节,主要讲述 main.py文件,该文件创建了一个MicroBlog类,MicroBlog类中包含一些爬取微博内容的函数. 以及简单介绍traceback的用法. 感兴趣的小伙伴可以收藏哦! 另外 ...

最新文章

  1. CodeForces 721C Journey
  2. Sun Solaris 9 下Squid 代理服务器的配置笔记
  3. 踏上《软件设计精要与模式》第二版的征途
  4. 今年阿里双十一CDN要冲历史之最,峰值带宽达到5000G+,来高手分析一下他们的CDN节点数量和规模...
  5. 用python写注册登录_用Python实现web端用户登录和注册功能的教程
  6. c#用canny算子做边缘提取_机器视觉学习(三)边缘检测
  7. CV+医疗领域实践项目!适合入门的图像分类领域新赛事
  8. Sturts2 与android的图片上传交互
  9. 长连接和短连接(转)
  10. 同步和异步的区别_LED显示屏的同步控制卡和异步控制卡是什么?它们的区别在哪里?...
  11. 毕设题目:Matlab图像压缩
  12. 当要写验证性的代码时,利用git进行代码管理
  13. coherence-based label propagation over time series for accelerated active learning
  14. 中药槲皮素-AKT1与木犀草素IL6/VEGFA直接结合抑制骨关节炎
  15. 关联规则分析(频繁项集查找方法为apriori方法的Fk-1*Fk-1)
  16. 最新PHP对接微信支付,发起商家转账API,商家转账到零钱
  17. iPhone 8 和 8 Plus 发布!双面全玻璃设计,配置提升
  18. iOS 7、iOS 8屏幕适配
  19. 【转载】Android 面试总结
  20. Spark数据挖掘实例1:基于 Audioscrobbler 数据集音乐推荐

热门文章

  1. 使用muscle多序列比对
  2. LInux查看系统信息命令
  3. 基于kalman滤波的磨损预测算法matlab仿真
  4. 从零构建一个riscv64 ubuntu-20发行版系统
  5. Struts2的运行流程
  6. Visual Studio2019完全卸载方法
  7. 谈谈阿里云弹性公网IP
  8. 容器和LXC简单命令
  9. 罗振宇2021跨年演讲8:为什么不能随便当“过来人”?
  10. Python自学笔记——基础篇