Python 爬取国家统计局相关数据

一，参考 https://www.jianshu.com/p/9827a052da91，对年末总人口进行爬取，同时用matplotlib 进行直方图绘制

代码：

# -*- coding: utf-8 -*-
"""
Created on Fri Mar  1 09:19:33 2019@author: Lenovo
"""import requests
import time
import json
import matplotlib.pyplot as plt#用来获得 时间戳
def gettime():return int(round(time.time()*1000))if __name__=='__main__':"一，请求数据"#用来定义头部headers={}#用来传递参数keyvalue={}#目标网址url='http://data.stats.gov.cn/easyquery.htm'#头部填充headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) '\'AppleWebKit/537.36 (KHTML, like Gecko)'\'Chrome/70.0.3538.102 Safari/537.36'#参数填充keyvalue['m'] = 'QueryData'keyvalue['dbcode'] = 'hgnd'keyvalue['rowcode'] = 'zb'keyvalue['colcode'] = 'sj'keyvalue['wds'] = '[]'keyvalue['dfwds'] = '[{"wdcode":"zb","valuecode":"A0301"}]'keyvalue['k1'] = str(gettime())# 发出请求，使用get方法，这里使用我们自定义的头部和参数r = requests.get(url, headers=headers, params=keyvalue)"二，解析数据"year=[]population=[]data=json.loads(r.text)data_one = data['returndata']['datanodes']for value in data_one:if('A030101_sj' in value['code']):year.append(value['code'][-4:])population.append(int(value['data']['strdata']))print(year)print(population)"三，绘制数据"plt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus'] = Falseplt.bar(year,population)plt.xlabel(u'年份')plt.ylabel(u'万人')plt.title(u'年末总人口')plt.show()

效果：

二，同理经过简单的修改。即可对其它数据，如福利彩票销售总额进行爬取

不同数据只是在 url参数，和json解析时略微不同

代码：

# -*- coding: utf-8 -*-
"""
Created on Fri Mar  1 13:56:43 2019@author: Lenovo
"""# -*- coding: utf-8 -*-
"""
Created on Fri Mar  1 09:19:33 2019@author: Lenovo
"""import requests
import time
import json
import matplotlib.pyplot as plt#用来获得 时间戳
def gettime():return int(round(time.time()*1000))if __name__=='__main__':"一，请求数据"#用来定义头部headers={}#用来传递参数keyvalue={}#目标网址url='http://data.stats.gov.cn/easyquery.htm'#头部填充headers['User-Agent']='Mozilla/5.0 (Windows NT 10.0; Win64; x64) '\'AppleWebKit/537.36 (KHTML, like Gecko)'\'Chrome/70.0.3538.102 Safari/537.36'#参数填充keyvalue['m'] = 'QueryData'keyvalue['dbcode'] = 'hgnd'keyvalue['rowcode'] = 'zb'keyvalue['colcode'] = 'sj'keyvalue['wds'] = '[]'keyvalue['dfwds'] = '[{"wdcode":"zb","valuecode":"A0P09"}]'keyvalue['k1'] = str(gettime())# 发出请求，使用get方法，这里使用我们自定义的头部和参数r = requests.get(url, headers=headers, params=keyvalue)"二，解析数据"year=[]population=[]data=json.loads(r.text)data_one = data['returndata']['datanodes']for value in data_one:if('A0P0902_sj' in value['code']):year.append(value['code'][-4:])population.append(float(value['data']['strdata']))print(year)print(population)"三，绘制数据"plt.rcParams['font.sans-serif']=['SimHei']plt.rcParams['axes.unicode_minus'] = Falseplt.bar(year,population)plt.xlabel(u'年份')plt.ylabel(u'亿元')plt.title(u'福利彩票销售额')plt.show()

效果：

关注微信获得更多精彩内容：

Python 爬取国家统计局相关数据相关推荐

利用python爬取2019-nCoV确诊数据并制作pyecharts可视化地图
1.本章利用python爬取2019-nCoV确诊数据并制作pyecharts可视化地图: 2.主要内容为绘制出中国各省疫情数据,疫情数据从四个维度进行可视化展示:累积确诊人数.现存确诊人数.治愈人数 ...
电视剧《大秦赋》最近很火！于是我用Python抓取了“相关数据”，发现了这些秘密............
前言最近,最火的电视剧莫过于<大秦赋了>,自12月1日开播后,收获了不错的口碑.然而随着电视剧的跟新,该剧在网上引起了激烈的讨论,不仅口碑急剧下滑,颇有高开低走的趋势,同时该剧的评分也由 ...
以某乎为实战案例，教你用Python爬取手机App数据
1 前言最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)! 本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数 ...
教你用Python爬取手机App数据!居然有人说爬不了APP
最近爬取的数据都是网页端,今天来教大家如何爬取手机端app数据(本文以ios苹果手机为例,其实安卓跟ios差不多)! 本文将以『某乎』为实战案例,手把手教你从配置到代码一步一步的爬取App数据! 2. ...
Python应用实战-Python爬取4000+股票数据，并用plotly绘制了树状热力图(treemap)
目录: 1. 准备工作 2. 开始绘图 2.1. 简单的例子 2.2. px.treemap常用参数介绍 2.3. color_continuous_scale参数介绍 2.4. 大A股市树状热力图来 ...
python爬去朋友圈_利用Python爬取朋友圈数据，爬到你开始怀疑人生
人生最难的事是自我认知,用Python爬取朋友圈数据,让我们重新审视自己,审视我们周围的圈子. 文:朱元禄(@数据分析-jacky) 哲学的两大问题:1.我是谁?2.我们从哪里来? 本文 jacky试 ...
python 爬取拉钩数据
Python通过Request库爬取拉钩数据爬取方法数据页面建表存储职位信息解析页面核心代码完整代码结果展示爬取方法采用python爬取拉钩数据,有很多方法可以爬取,我采用的是通过Re ...
python 爬取拉钩网数据
python 爬取拉钩网数据完整代码下载:https://github.com/tanjunchen/SpiderProject/blob/master/lagou/LaGouSpider.py # ...
利用Python爬取国家水稻数据中心的品种数据
利用Python爬取国家水稻数据中心的品种数据一.页面获取 python可以进行对网页的访问,主要用到requests,beautifulsoup4包. 首先新建一个page的py文件,用来获取页面 ...

Python 爬取国家统计局相关数据

Python 爬取国家统计局相关数据相关推荐

最新文章

热门文章