引言

网：tianqihoubao

对深圳近几月的天气进行分析可视化

需要用的库

pandas:用于数据挖掘，数据分析requests：用来get网页数据建立连接bs4：用来分析html数据进行格式化matplotlib：用于绘制可视化图形，类似 MATLAB 的绘图工具，是个很厉害的库

过程

get函数

用于get网页数据并进行分析讲需要的天气数据进行导出

def get_data(weather_url):rseponse = requests.get(weather_url)html = rseponse.content.decode('gbk')soup = BeautifulSoup(html, 'html.parser')tr_lsit = soup.find_all('tr')# 为啥是tr见下图# 寻找tr标签下的所有内容print(tr_lsit)dates, conditions, temp, fengxiang = [], [], [], []for data in tr_lsit[1:]:sub_data = data.text.split()# ['2022年09月30日', '雷阵雨', '/雷阵雨', '27℃', '/', '32℃', '东风', '1-2级', '/东风', '1-2级']dates.append(sub_data[0])conditions.append(''.join(sub_data[1:3]))temp.append(''.join(sub_data[3:6]))fengxiang.append(''.join(sub_data[6:9]))# join函数连接字符串# 数据保存_data = pandas.DataFrame()_data['日期'] = dates_data['天气情况'] = conditions_data['气温'] = temp_data['风向'] = fengxiangreturn _data

数据都在tr便签里所以只提取tr标签里的数据

调用

提取深圳近三个月的数据，并用pandas库中的concat将三个get完的数据进行整合

# 定义成函数形式进行封装
data_month_1 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202209.html')
data_month_2 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202210.html')
data_month_3 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202211.html')# 使用drop参数来避免将旧索引添加为列：
data = pandas.concat([data_month_1, data_month_2, data_month_3]).reset_index(drop=True)
# 导出csv表格
data.to_csv('shenzhen.csv', index=False, encoding='utf-8')
# 读表
data1 = pd.read_csv('shenzhen.csv')

表格展示

导出的表格数据如下

数据处理

# 画图
# 设置字体
plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决负号的乱码问题
plt.rcParams['axes.unicode_minus'] = False
# 读表
datalsit = pandas.read_csv('shenzhen.csv',encoding='utf-8')# 数据处理
# 利用split分裂字符串‘/’取出最高最低气温
datalsit['最低气温'] = datalsit['气温'].str.split('/',expand=True)[0]
datalsit['最高气温'] = datalsit['气温'].str.split('/',expand=True)[1]
# 取出温度中的℃符号
datalsit['最低气温'] = datalsit['最低气温'].map(lambda x:int(x.replace('℃','')))
datalsit['最高气温'] = datalsit['最高气温'].map(lambda x:int(x.replace('℃','')))dates = datalsit['日期']
highs = datalsit['最高气温']
lows =  datalsit['最低气温']

此时清洗完的数据是纯数字了

画图

直接看注释吧

# 设置可视化图形规格
fig = plt.figure(dpi=128,figsize=(10,6))
# 线形图的线条颜色粗细调整
plt.plot(dates,highs,c='red',alpha=0.5)
plt.plot(dates,lows,c='blue',alpha=0.5)
# 线条下方覆盖为蓝色
plt.fill_between(dates,highs,lows,facecolor='blue',alpha=0.2)# 图表格式
# 设置图标的图形格式
plt.title('2022深圳市9-12月天气情况',fontsize=24)
plt.xlabel('日期',fontsize=12)
# # x轴标签倾斜  默认30度 可通过rotation=30改变
fig.autofmt_xdate()
plt.ylabel('气温',fontsize=12)
# 刻度线样式设置
plt.tick_params(axis='both',which='major',labelsize=10)
# 修改刻度 数据每10组显示1个
plt.xticks(dates[::10])# 绘制风向扇形图
# 提取出风向的各类型占比  数据清洗
fengxiang=data1['风向'].value_counts()
fengxiang = fengxiang[fengxiang.values > 3]
plt.figure(figsize=(15,5))
# 保住饼图是圆 不是默认椭圆
plt.axes(aspect = 'equal')
plt.pie(x =fengxiang.values,labels = fengxiang.index,autopct = "%.2f%%",radius = 1)
plt.title('风向占比')# 显示
plt.show()

结果

完整代码

import requests
from bs4 import  BeautifulSoup
import pandas
import pandas as pd
from matplotlib import pyplot as pltdef get_data(weather_url):rseponse = requests.get(weather_url)html = rseponse.content.decode('gbk')soup = BeautifulSoup(html, 'html.parser')tr_lsit = soup.find_all('tr')# 寻找tr标签下的所有内容print(tr_lsit)dates, conditions, temp, fengxiang = [], [], [], []for data in tr_lsit[1:]:sub_data = data.text.split()# ['2022年09月30日', '雷阵雨', '/雷阵雨', '27℃', '/', '32℃', '东风', '1-2级', '/东风', '1-2级']dates.append(sub_data[0])conditions.append(''.join(sub_data[1:3]))temp.append(''.join(sub_data[3:6]))fengxiang.append(''.join(sub_data[6:9]))# join函数连接字符串# 数据保存_data = pandas.DataFrame()_data['日期'] = dates_data['天气情况'] = conditions_data['气温'] = temp_data['风向'] = fengxiangreturn _data# print(_data)# _data.to_csv('anqing.csv',index=False,encoding='gbk')# 获取数据并保存csv格式，进行下面的数据分析# 定义成函数形式进行封装
data_month_1 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202209.html')
data_month_2 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202210.html')
data_month_3 = get_data('http://www.tianqihoubao.com/lishi/shenzhen/month/202211.html')# 使用drop参数来避免将旧索引添加为列：
data = pandas.concat([data_month_1, data_month_2, data_month_3]).reset_index(drop=True)
# 导出csv表格
data.to_csv('shenzhen.csv', index=False, encoding='utf-8')
# 读表
data1 = pd.read_csv('shenzhen.csv')# 画图
# 设置字体
plt.rcParams['font.sans-serif'] = ['SimHei']
# 解决负号的乱码问题
plt.rcParams['axes.unicode_minus'] = False
# 读表
datalsit = pandas.read_csv('shenzhen.csv',encoding='utf-8')# 数据处理
# 利用split分裂字符串‘/’取出最高最低气温
datalsit['最低气温'] = datalsit['气温'].str.split('/',expand=True)[0]
datalsit['最高气温'] = datalsit['气温'].str.split('/',expand=True)[1]
# 取出温度中的℃符号
datalsit['最低气温'] = datalsit['最低气温'].map(lambda x:int(x.replace('℃','')))
datalsit['最高气温'] = datalsit['最高气温'].map(lambda x:int(x.replace('℃','')))dates = datalsit['日期']
highs = datalsit['最高气温']
lows =  datalsit['最低气温']# 画图
# 设置可视化图形规格
fig = plt.figure(dpi=128,figsize=(10,6))
# 线形图的线条颜色粗细调整
plt.plot(dates,highs,c='red',alpha=0.5)
plt.plot(dates,lows,c='blue',alpha=0.5)
# 线条下方覆盖为蓝色
plt.fill_between(dates,highs,lows,facecolor='blue',alpha=0.2)# 图表格式
# 设置图标的图形格式
plt.title('2022深圳市9-12月天气情况',fontsize=24)
plt.xlabel('日期',fontsize=12)
# x轴标签倾斜  默认30度 可通过rotation=30改变
fig.autofmt_xdate()
plt.ylabel('气温',fontsize=12)
# 刻度线样式设置
plt.tick_params(axis='both',which='major',labelsize=10)
# 修改刻度 数据每10组显示1个
plt.xticks(dates[::10])# 绘制风向扇形图
# 提取出风向的各类型占比  数据清洗
fengxiang=data1['风向'].value_counts()
fengxiang = fengxiang[fengxiang.values > 3]
plt.figure(figsize=(15,5))
# 保住饼图是圆 不是默认椭圆
plt.axes(aspect = 'equal')
plt.pie(x =fengxiang.values,labels = fengxiang.index,autopct = "%.2f%%",radius = 1)
plt.title('风向占比')# 显示
plt.show()

python天气数据可视化分析相关推荐

python大数据可视化分析淘宝商品，开专卖店不行啊
python大数据可视化分析淘宝商品,开专卖店不行啊现如今大数据分析异常火爆,如何正确分析数据,并且抓住数据特点,获得不为人知的秘密?今天沉默带你用python爬虫,爬取淘宝网站进行淘宝商品大数据分 ...
Python图书数据可视化分析
20220615 导师发布第一个任务---图书数据可视化分析课件下载链接: https://pan.baidu.com/s/1RjRyk8ZTbxI1z5W7MZLTdQ?pwd=m6eq 提取码: ...
基于Python的网络爬虫爬取天气数据可视化分析
目录摘要 1 一. 设计目的 2 二. 设计任务内容 3 三. 常用爬虫框架比较 3 四.网络爬虫程序总体设计 3 四. 网络爬虫程序详细设计 4 4.1设计环境和目标分析 4 4.2爬虫运行流程 ...
Python数据可视化分析
数据可视化 --通过Python实现数据可视化,是关于数据视觉表现形式的科学技术研究.其中,这种数据的视觉表现形式被定义为,一种以某种概要形式抽提出来的信息,包括相应信息单位的各种属性和变量. 一. ...
采用python爬虫爬取数据然后采用echarts数据可视化分析
前言:采用python爬虫爬取天气数据然后采用echarts数据可视化画图分析未来天气变化趋势从获取数据到可视化的流程 (熟悉爬虫爬取数据然后数据可视化这个过程) 一.python爬取未来8-15天 ...
python导出数据顿号做分隔符_Python语言和matplotlib库做数据可视化分析
这是我的第51篇原创文章,关于数据可视化分析. 阅读完本文,你可以知道: 1 Python语言的可视化库-matplotlib? 2 使用matplotlib实现常用的可视化? 0前言数据记者和信息 ...
python爬虫数据可视化软件_python爬虫及数据可视化分析
1.前言本篇文章主要介绍python爬虫及对爬取的数据进行可视化分析,本次介绍所用的网站是(https://www.duanwenxue.com/jingdian/zheli/) 2.数据爬取 2. ...
Python爬虫以及数据可视化分析！
简单几步,通过Python对B站番剧排行数据进行爬取,并进行可视化分析源码文件可以参考Github上传的项目:https://github.com/Lemon-Sheep/Py/tree/maste ...
Python基于WordCloud词云图的数据可视化分析词云图的基本使用政府工作报告分析
Python基于WordCloud词云图的数据可视化分析词云图的基本使用政府工作报告分析文章目录 1.词云图简介 2.wordcloud库的安装 3.WordCloud的主要参数说明 4.绘制词 ...

python天气数据可视化分析

引言

需要用的库

过程

get函数

调用

表格展示

数据处理

画图

结果

完整代码

python天气数据可视化分析相关推荐

最新文章

热门文章