抓取空气质量指数AQI_PM2.5历史数据，可视化展示

抓取空气质量指数AQI_PM2.5历史数据，可视化展示：

url=‘http://www.tianqihoubao.com/aqi/hangzhou-201810.html’杭州的空气质量数据，可以在主页抓取全国的pm2.5数据展示

import time,requests,re
import pandas as pd
from lxml import etree
#https://blog.csdn.net/u013337691/article/details/51894453url='http://www.tianqihoubao.com/aqi/hangzhou.html'
headers = {'user-agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.95 Safari/537.36", }response = requests.get(url, headers=headers)
html = response.text
response = etree.HTML(html)url_list = response.xpath('//div[@class="box p"]//a/@href')
for url in url_list:url='http://www.tianqihoubao.com'+url#print(url)#url='http://www.tianqihoubao.com/aqi/hangzhou-201810.html'data = pd.read_html(url, header=0, encoding='gbk')[0]print(data)time.sleep(1)data.to_csv("pm2.5.csv",mode='a', header=False)

数据分析：

import pandas as pd
from matplotlib import  pyplot as plt
file_path = "pm2.5.csv"
#杭州市2013.10-2018.11的PM2.5随时间的变化情况:df = pd.read_csv(file_path,names=['data_time','quality','AQI','ranking','PM2.5','Pm10','So2','No2','Co','O3'])
#print(df)df["timeStamp"] = pd.to_datetime(df["data_time"]) #把时间字符串转为索引df.set_index('timeStamp',inplace=True)  #
#print(df.head())#进行降采样：
df=df.resample('M').mean()#绘图：
plt.figure(figsize=(20, 8), dpi=80)
data=df['PM2.5']
# print(data.index)
# print(data.values)_x=data.index
_y=data.values
_x = [i.strftime("%Y%m%d") for i in _x]
plt.plot(range(len(_x)), _y)
plt.xticks(range(len(_x)), _x, rotation=45)
plt.show()

抓取空气质量指数AQI_PM2.5历史数据，可视化展示相关推荐

python展示全部好友_利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
python爬虫好友聊天记录_利用Python网络爬虫抓取微信好友的签名及其可视化展示...
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
python爬虫好友图片_利用Python网络爬虫抓取微信好友的签名及其可视化展示
前几天给大家分享了如何利用Python词云和wordart可视化工具对朋友圈数据进行可视化,利用Python网络爬虫抓取微信好友数量以及微信好友的男女比例,以及利用Python网络爬虫抓取微信好友的所 ...
Python 动态抓取 Android 进程内存信息数据可视化
1-简介如果我们想要测试我们的某些应用在安卓系统上的性能使用情况, 我们可以通过adb桥去查询, 但是如果每次都去手动查询, 自己生成报表,那无疑是非常繁重的工作而python就是实现性能自动化测 ...
Python网络爬虫抓取彩票排列3全部历史数据
之前学了福彩3D网络爬虫技术,然后我研究了一天时间,写了一个体彩排列3爬虫抓取程序,为了感谢网友们的贡献,我决定分享代码首先找一家比较大型的网站,500彩票网,因为是美国上市公司,轻易不会黄,这样写 ...
B站2020年每周必看热门视频数据盘点（数据分析）1.数据抓取2.数据清洗3.数据分析及可视化
1.数据抓取数据集的获取是我们进行数据分析的第一步.现在获取数据的主要途径一般为:现成数据:自己写爬虫去爬取数据:使用现有的爬虫工具爬取所需内容,保存到数据库,或以文件的形式保存到本地. 博主用的是 ...
C#爬取京东手机数据+PowerBI数据可视化展示
此系列博文链接 C#爬虫基本知识 Html Agility Pack解析html TODO: EF6中基本认识. EF6操作mysql MySQL乱码问题 C#爬虫在开头贴一下github仓库地址, ...
手把手教你使用Python抓取QQ音乐数据（第四弹）(文末赠书)
点击上方"Python爬虫与数据挖掘",进行关注回复"书籍"即可获赠Python从入门到进阶共10本电子书今日鸡汤千里之行,始于足下. [一.项目目 ...
空气质量指数日历史数据
空气质量指数日历史数据简单易行的空气质量指数日历史数据爬取效果图1 目标爬取数据图2 最终实验效果目录空气质量指数日历史数据效果前言 I Package 安装与使用 II Citys ...

抓取空气质量指数AQI_PM2.5历史数据，可视化展示

抓取空气质量指数AQI_PM2.5历史数据，可视化展示相关推荐

最新文章

热门文章