500万条微博数据来源分析

最近项目不是特别忙，想做一些微博方面的分析和处理工作，如果自己现爬取微博数据，积累数据比较慢，恰好看到北理工张华平老师分享的500万条微博数据，直接借用他的数据分析。下载地址是：http://www.nlpir.org/?action-viewnews-itemid-299

因为解压之后的文件较大，足有2.1G，并且对格式不是很清楚，直接打开也无法打开，于是先用文件分割工具将真格文件分割成多个较小的文件，了解好数据格式后采用Python读取数据并插入到MySQL数据库中。微博数据存放于数据库主要考虑这些数据还可以做其他方面的分析研究。

读取数据库中微博来源字段

统计每一条微博来源，存放于Dict中，计算相同的数目

对字典中的内容根据value由高到低排序

最终的统计分析效果：

500万条微博数据来源分析相关推荐

python高频词_python几万条微博高频词分析
python几万条微博高频词分析看到别人有做影视热评的分析统计,觉得挺好玩的,就来试试看看效果 Screenshot_2018-05-21-11-00-42-879_com.master.wei. ...
python高频词统计_python几万条微博高频词分析
python几万条微博高频词分析看到别人有做影视热评的分析统计,觉得挺好玩的,就来试试看看效果 Screenshot_2018-05-21-11-00-42-879_com.master.wei. ...
利用500万条微博语料对微博评论进行情感分析
最近身边的人都在谈论一件事:10月8日中午的一条微博,引发了一场微博的轩然大波.导致微博瘫痪的原因是全球超人气偶像明星鹿晗发了一条"大家好,给大家介绍一下,这是我女朋友@关晓彤". ...
大规模数据生成（500万条数据）
前言: 最近有一个作业需要对大规模数据进行性能测试需要500万条数据,这是一个很大的量,我们无法通过cvs文件这种方式把数据导入数据库我开始想到了一个解决方案,使用java程序,循环500 ...
记一次500万条数据查询的优化
1.公司业务系统数据平台今早发现有个接口响应很慢,经过逐一排查后,发现问题所在.该接口是做的一个单表查询,表的数据有500万条左右. 下面是表结构下面是优化前的查询 SELECT count(IP) ...
2000万条直播数据，揭秘斗鱼主播生存现状
作者 | 朱小五来源 | 凹凸玩数据(ID:alltodata) 2019年7月17日游戏直播平台斗鱼在美国纳斯达克股票交易所成功上市,成为继虎牙直播之后第二家赴美上市的国内直播平台. 7月底斗鱼因 ...
天猫双12爬虫（福利：266万条商品数据免费下载）
前言: 继:<天猫双11爬虫(福利:212万条商品数据免费下载)>. 天猫双12商品原始数据\color{red}{天猫双12商品原始数据} 链接:http://pan.baidu.com ...
咱们500万条数据测试一下，如何合理使用索引加速？
5 如何合理使用索引加速 tips: 500万条建表sql参照网盘sql脚本 [root@linux-141 bin]# ./mysql -u root -p itcast < product_ ...
clair、anchore、trivy开源数据库的数据来源分析
数据来源分析 trivy trivy 分了四个仓库进行维护,分别是 trivy 负责提供cli交互程序 trivy-db 负责将处理好的数据打包成blot格式 vlun-list 负责存放处理好的原始 ...

500万条微博数据来源分析

500万条微博数据来源分析相关推荐

最新文章

热门文章