3行Python代码就能获取海量数据?
一谈起数据分析,首先想到的就是数据,没有数据,谈何分析。
毕竟好的菜肴,没有好的原材料,是很难做的~
所以本期小F就给大家分享一个获取数据的方法,只需三行代码就能搞定。
「GoPUP」,大佬造的轮子,大概有100+的免费数据接口。
GitHub:https://github.com/justinzm/gopup
使用文档:http://doc.gopup.cn/#/README
主要有指数数据、宏观经济数据、新经济数据、微博KOL数据、信息数据、生活数据、疫情数据等。
# 安装gopup
pip install gopup --upgrade
安装成功后,就能使用了。
01 微博指数
获取指定关键词的微博指数。
# 微博指数
import gopup as gp
df_index = gp.weibo_index(word="马保国", time_type="1month")
print(df_index)
time_type="1month"; 1hour, 1day, 1month, 3month 选其一。
三行Python代码实现数据获取。
02 百度指数
获取指定关键词的百度搜索指数。
# 百度指数
import gopup as gp
cookie = "此处输入您在网页端登录百度指数后的 cookie 数据"
index_df = gp.baidu_search_index(word="马保国", start_date='2020-11-15', end_date='2020-11-25', cookie=cookie)
print(index_df)
需要登陆百度指数,获取你的Cookie。
设置关键词,时间起始,就能获取到马保国老师的热度数据了。
后面还有百度资讯、媒体、需求图谱、人群年龄、性别、兴趣分布数据接口,就不一一介绍了。
感兴趣的同学可以自行去查看文档。
03 头条指数
获取指定关键词的头条指数。
# 头条指数
import gopup as gp
index_df = gp.toutiao_index(keyword="马保国", start_date='20201115', end_date='20201125')
print(index_df)
接口挂了,不知为何~
还有相关性、情感、地域、城市、年龄、性别、用户阅读兴趣分析数据等接口。
04 谷歌数据
需要通过代理才能使用,不过上面这三类已经完全够用了。
# 谷歌数据
import gopup as gp
index_df = gp.google_index(keyword="马保国", start_date='2020-11-15T10', end_date='2020-11-25T23')
print(index_df)
05 宏观经济数据
有一个杠杆率的数据可以使用。
# 杠杆数据
import gopup as gp
df_index = gp.marco_cmlrd()
print(df_index)
不懂经济学,所以不明觉厉。
06 新经济数据
这个数据倒是蛮有趣的,主要是公司数据。
比如独角兽和倒闭公司的数据。
# 独角兽公司数据
import gopup as gp
df_index = gp.nicorn_company()
print(df_index)
一共是240家独角兽公司。
蚂蚁、字节、阿里云、滴滴,都是行业中的大佬。
# 倒闭公司数据
import gopup as gp
df_index = gp.death_company()
print(df_index)
倒闭的公司一共有6921家。
看到不少P2P的公司。
剩下还有有一个特许经营许可数据,好像是吊牌销售的意思。
前段时间看到一篇文章,讲的就是南极人吊牌销售的事情,南极人都不自己搞生产,而是代工。
07 KOL数据&信息数据
主要是微博的KOL,所以没啥用。
# KOL数据
import gopup as gp
g = gp.pro_api(token = "……")
df_index = g.weibo_user(keyword="雷军")
print(df_index)
信息数据是新闻联播文字稿。
08 中国油价数据
包含汽油和柴油的调价信息数据。
# 油价数据
import gopup as gp
df_index = gp.energy_oil_hist()
print(df_index)
时间从2000年直到2020年,细数20年油价变化。
09 百度迁徙数据
可以用来做飞线图或者OD图。
# 迁徙数据
import gopup as gp
migration_area_baidu_df = gp.migration_area_baidu(area="湖北省", indicator="move_in", date="20200201")
print(migration_area_baidu_df)
单次返回100个城市的数据。
10 影视数据
实时电影票房数据,最近又有病例出现,数据应该也比较惨淡。
这里需要一个WebDES.js文件,才能请求成功。
# 实时电影票房数据
import gopup as gp
df_index = gp.realtime_boxoffice()
print(df_index)
「如果声音不记得」当日1千万的票房,太少了。
单日影院数据,今年影院能倒闭一大堆。
# 单日影院数据
import gopup as gp
df_index = gp.day_cinema(date="2020-12-08")
print(df_index)
得到票房前100的数据。
最高应该是8万多的收入。
实时电视剧播映指数,天气冷了选个好剧或者综艺,窝在被窝刷起来。
# 电视剧数据
import gopup as gp
df_index = gp.realtime_tv()
print(df_index)
大秦赋,小F也在看,感觉还不错。
还有实时综艺播映指数、艺人商业价值、流量价值等数据。
11 全国高等学校数据
普通高等学校名单,包含名称、主管部门,所在省市、所在地、办学层次等信息。
# 普通高等学校数据
import gopup as gp
df_index = gp.university()
print(df_index)
一共是2631所高校。
还有成人高等学校以及高等学校详情数据。
有网易、丁香园、百度三家的疫情数据。
# 世界历史累计确诊数据
import gopup as gp
covid_163_df = gp.covid_163(indicator="世界历史累计数据")
print(covid_163_df)
目前累计207个国家有疫情出现。
全世界总共就233个国家和地区,快接近90%了。
由于数据接口太多了,小F就不一一介绍了。
查看文档:http://doc.gopup.cn/#/data/index_data
更多精彩推荐
给AI系统做“安全体检”,阿里安全提出自动化AI对抗平台CAA | AAAI 2021
GitHub标星7000+,快速恢复像素化图像,效果惊人
赠书 | AI 还原宋代皇帝,原来这么帅?!
红帽"干掉" CentOS 8,CentOS Stream 上位
对标鸿蒙 OS,Google 下一代操作系统 Fuchsia 源码公开!
3行Python代码就能获取海量数据?相关推荐
- python输入三行数据_3行Python代码就能获取海量数据?
原标题:3行Python代码就能获取海量数据? 一谈起数据分析,首先想到的就是数据,没有数据,谈何分析. 毕竟好的菜肴,没有好的原材料,是很难做的- 所以本期小F就给大家分享一个获取数据的方法,只需三 ...
- 什么,3行Python代码就能获取海量数据?
本文转载自公众号[法纳斯特],详情可以点击上方卡片,关注该公众号,获取更多好文推荐. 一谈起数据分析,首先想到的就是数据,没有数据,谈何分析. 毕竟好的菜肴,没有好的原材料,是很难做的- 所以本期小F ...
- 50行Python代码,一键获取微博热点
小编闲暇时喜欢看热点,会收集微博,微信搜一搜上的热点,了解一下最近的娱乐八卦新闻.但是在浏览微博的时候,想把微博热点给复制下来,但是却怎么也复制不了,鼠标一放上去就变成了"小手"的 ...
- python获取交易软件数据_几行Python代码,轻松获取美股阿里巴巴的交易数据
原创: 野马 菜鸟学Python 学Python可以干很多事情,比如爬虫,数据分析,机器学习,但是有一个非常小众的分支,不仅结合了两大高薪行业,而且还薪水非常诱人,就是量化金融岗位.目前Python已 ...
- 美股数据获取 python_几行Python代码,轻松获取美股阿里巴巴的交易数据
1 准备工作 玩数据分析,尤其是金融的数据分析,强烈建议大家安装如下的库: 建议安装Anaconda,一次安装包括了Python环境和全部依赖包,减少问题出现的几率. 雅虎财相关经库,Anaconda ...
- 几行Python代码,轻松获取美股阿里巴巴的交易数据
前言 文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 作者: 野马 PS:如有需要Python学习资料的小伙伴可以加点击下方链接自 ...
- 50行Python代码,一键获取微博热点!
小编闲暇时喜欢看热点,会收集微博,微信搜一搜上的热点,了解一下最近的娱乐八卦新闻.但是在浏览微博的时候,想把微博热点给复制下来,但是却怎么也复制不了,鼠标一放上去就变成了"小手"的 ...
- python微博热点_50行Python代码,一键获取微博热点
小编闲暇时喜欢看热点,会收集微博,微信搜一搜上的热点,了解一下最近的娱乐八卦新闻.但是在浏览微博的时候,想把微博热点给复制下来,但是却怎么也复制不了,鼠标一放上去就变成了"小手"的 ...
- 20行Python代码,轻轻松松获取各路书本,你还在花钱买着看嘛~
前言 嗨喽,大家好呀~这里是爱看美女的茜茜呐 又到了学Python时刻~ 作为现代青年,我相信应该没几个没看过xiao shuo的吧,嘿嘿~ 一般来说咱们书荒的时候怎么办? 自然是去寻一个网站先找到x ...
最新文章
- ORM版学员管理系统
- Exchange 2013/2016 OWA无法访问邮件正文
- 线性表(二)——链表
- matlab电类,985电气研二,有发过考研经验贴 电气电力类的有
- js 计时器无法清除是为什么
- 微课|中学生可以这样学Python(例11.2):tkinter猜数游戏(1)
- AudioBuffer
- 【美团校招笔试题】去除字符串首尾空格,中间多个空格只保留一个
- 通过一个工具类更深入理解动态代理和Threadlocal
- ZOJ 1654 二分匹配基础题
- C语言代码实现最小二乘法线性拟合直线
- DDR3:MIG控制器设计(vivado)
- 从Scrum之父探源敏捷方法论
- c语言编程齿轮模数选择,斜齿轮变位系数分配-C程序.doc
- ubuntu 18.04 安装postgre+postgis+pgadmin3+导入shapefile
- 输入年份月份实现日历打印,C到C++过渡。
- 名侦探柯南之零的执行人
- 卡塔尔世界杯门线技术(GOAL LINE TECHNOLOGY)背后的黑科技
- Jasper导出excel
- font-face使用的web字体格式介绍、浏览器兼容和字体转换