数据分析 # 深入分析近三年以来各大城市发展情况

项目介绍

本项目结合 matplotlib 可视化来做分析，以直观的方式展示各大城市从2015到2017年的变化情况，并加与文字说明。

目标定义

目标需求分析1：对比2015至2017年主要城市年度数据的变化趋势。
目标需求分析2：对比各个城市在这几年的国内生产总值情况，哪些城市贡献大？
目标需求分析3：对比各个城市第一、二、三产业在这几年的发展状况是怎样的？
目标需求分析4：对比各个城市平均在职工资、学校资源、卫生医院设备情况，看看哪些城市工资高、教学资源丰富、医疗保障水平是怎样的？
目标需求分析5：对比分析哪些城市是房地产投资重地呢？

实践流程

1 加载合并数据

import pandas as pd
import matplotlib.pyplot as plt
%matplotlib inlinedf1 = pd.read_csv('/govstats2556/2015年国内主要城市年度数据.csv')
df2 = pd.read_csv('/govstats2556/2016年国内主要城市年度数据.csv')
df3 = pd.read_csv('/govstats2556/2017年国内主要城市年度数据.csv')df = pd.concat([df1, df2, df3], axis=0)  # 以行的维度合并数据print('\n【特征】>>>', df.columns)
# 重置索引和特征名
df.index = [i for i in range(df.shape[0])]  # 重置索引
df.columns = ['area', 'year', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'population', 'pay', 'student', 'hospitalt', 'realty']  # 重置列名df.info()  # 查看数据集基本情况
df.head()

英文	中文
area	地区
year	年份
total_value	国内生产总值
one_value	第一产业增加值
twol_value	第二产业增加值
three_value	第三产业增加值
zero_value	社会商品零售总额
inout	货物进出口总额
population	年末总人口
pay	在岗职工平均工资
student	普通高等学校在校学生数
hospital	医院、卫生院数
realty	房地产开发投资额

2 数据预处理

# 探索是否有缺失值
print('\n缺失值处理前>>>', df.isnull().sum(), '\n>>>', df.shape)  # 缺失值处理
''' 第一种方法，丢弃 '''
# df = df.dropna()
''' 第二种方法，使用均值填充 '''
# df = df.fillna(value=df.mean())  # 由于我们发现缺失值只在 "realty" 列，因此可以使用以下方式
df['realty'] = df['realty'].fillna(value=df['realty'].mean())print('\n缺失值处理后>>>', df.isnull().sum(), '\n>>>', df.shape)

3 封装可视化模板和可视化分析

def plotCity(data, plotType=None):# 设置图像风格, 网格型plt.style.use('ggplot')  # 解决中文乱码，坐标轴显示不出负值的问题plt.rcParams['font.sans-serif'] =['Microsoft YaHei']plt.rcParams['axes.unicode_minus'] = False# 提取各年份的数据dt2015 = df[df['year'] == 2015]dt2016 = df[df['year'] == 2016]dt2017 = df[df['year'] == 2017]# 可视化图像的标题plot_title = ['国内生产总值', '第一产业增加值', '第二产业增加值', '第三产业增加值', '社会商品零售总额', '货物进出口总额', '在岗职工平均工资', '普通高等学校在校学生数', '医院、卫生院数', '房地产开发投资额']# ------------------------------------------------# 4-1、在没有指明绘制图形类型情况下，采用默认方式if plotType == None:text = print("""温馨提示：你还没有选择绘制图形的类型.....\n类型如下...plot\t线性图pie\t饼图bar\t纵向条形图barh\t横向条形图hist\t直方图boxplot\t箱型图scatter\t散点图\n例子\n---------"""+ "\nplot(data=data, plotType='plot')")return textfig = plt.figure()for i in range(0, len(data) - 1):# for i in range(0, 4):ax = fig.add_subplot(5, 2, i + 1)# --------------------------------------------------# 4-2、选择绘制线形图if plotType == 'plot':ax.plot(dt2015[data[0]], dt2015[data[i + 1]], marker='o', label='2015')ax.plot(dt2016[data[0]], dt2016[data[i + 1]], marker='o', label='2016')ax.plot(dt2017[data[0]], dt2017[data[i + 1]], marker='o', label='2017')ax.set_title(plot_title[i])  # 标题ax.set_xticklabels(labels=dt2015[data[0]], rotation=90)  # 设置 X 轴刻度对应的标签ax.legend(loc='best')  # 图例fig.subplots_adjust(top=5, bottom=0.1, left=0.9, right= 3.6, hspace=0.3, wspace=0.3)  # 调整子图之间间隙# --------------------------------------------------# 4-3、选择绘制饼图if plotType == 'pie':ax.pie(x=dt2015[data[i + 1]], labels=dt2015[data[0]], shadow=True,autopct='%.2f%%', radius=2.)ax.set_title(plot_title[i])  # 标题# ax.legend(loc='right')  # 图例# 调整子图间距,上下左右fig.subplots_adjust(top=5, bottom=0.1, left=0.9, right= 3.6, hspace=0.8, wspace=0.1)  # ---------------------------------------------------# 4-4、选择绘制纵向条形图if plotType == 'bar':bar_width = 0.3''' 正 y 轴绘制条形图 '''ax.bar(x=dt2015.index, height= + dt2015[data[i + 1]],  # 正 y 半轴绘图label='正轴2015',  width=bar_width)  ax.bar(x=dt2015.index + bar_width, height= + dt2016[data[i + 1]], # 正 y 半轴绘图label='正轴2016',  width=bar_width)  ax.bar(x=dt2015.index + 2 * bar_width, height= + dt2017[data[i + 1]], # 正 y 半轴绘图label='正轴2017', width=bar_width, color='y')  ''' 负 y 轴绘制条形图 '''ax.bar(x=dt2015.index, height= - dt2015[data[i + 1]],  # 负 y 半轴绘图label='负轴2015',  width=bar_width, color='r')  ax.bar(x=dt2015.index + bar_width, height= - dt2016[data[i + 1]],  # 负 y 半轴绘图label='负轴2016',  width=bar_width, color='c')  ax.bar(x=dt2015.index + 2 * bar_width, height= - dt2017[data[i + 1]], # 负 y 半轴绘图label='负轴2017',  width=bar_width, color='b')  ax.set_title(plot_title[i])  # 标题ax.set_xticks([i for i in range(dt2015.shape[0])])  # 重置 x 轴刻度值ax.set_xticklabels(labels=dt2015[data[0]], rotation=90)  # 在 x 轴刻度值上设置标签，旋转 90 度 ax.legend(loc='best')  # 图例，自动选择最好的位置摆放图例# 调整子图间距,上下左右fig.subplots_adjust(top=5, bottom=0.1, left=0.9, right= 3.6, hspace=0.3, wspace=0.3)# ---------------------------------------------------# 4-5、选择绘制横向条形图if plotType == 'barh':ax.barh(y= + dt2015.index, width= dt2015[data[i + 1]], height=2, label='2015') # 正 x 半轴绘图ax.barh(y= - dt2015.index, width= dt2016[data[i + 1]], height=2, label='2016') # 负 x 半轴绘图ax.set_title(plot_title[i])  # 标题ax.set_yticks([i for i in range(dt2015.shape[0])] + [-i for i in range(dt2015.shape[0])])  # 重置 y 轴刻度值ax.set_yticklabels(labels=dt2015[data[0]].tolist() + dt2015[data[0]].tolist())  # 在 y 轴刻度值上设置标签ax.legend(loc='best')# 调整子图间距,上下左右fig.subplots_adjust(top=18, bottom=0.1, left=0.9, right= 3.6, hspace=0.3, wspace=0.3)# ------------------------------------------------------# 4-6、选择绘制直方图color = ['r', 'g', 'c', 'b', 'm', 'r', 'g', 'c', 'b', 'm']if plotType == 'hist':ax.hist(x= -dt2015[data[i + 1]], bins=10, color=color[i], label='2015') # 正 x 半轴绘图ax.hist(x= dt2016[data[i + 1]], bins=10, color=color[-(i + 1)], label='2016')ax.legend(loc='best')  # 图例ax.set_title(plot_title[i])  # 标题# 图像文本设置ax.text(x=0, y=4, s='LXZ说:直方图用于探索各个元素出现的频次', fontsize=14, color='k')# 调整子图间距,上下左右fig.subplots_adjust(top=5, bottom=0.1, left=0.9, right= 3.6, hspace=0.3, wspace=0.3)# -------------------------------------------------------# 4-7、选择绘制箱形图if plotType == 'boxplot':# patch_artist=True 填充颜色ax.boxplot(x=[dt2015[data[i + 1]], dt2016[data[i + 1]], dt2017[data[i + 1]]], patch_artist=True)ax.set(title=plot_title[i],ylabel='元素值分布',xlabel='年份',xticklabels=(['2015', '2016', '2017']))# 设置箭头标注，s 代表要显示的文字，xy 代表箭头的位置，xytext 代表文字# 的位置，arrowprops 代表设置箭头的样式ax.annotate(s='中位数：' + str(dt2016[data[i + 1]].median()), xy=(2, dt2016[data[i + 1]].median()),xytext=(2.25, dt2016[data[i + 1]].median() + 50), fontsize=20, color='k',arrowprops=dict(arrowstyle="->",connectionstyle='arc3',color='r',))ax.grid(True)  # 添加网格# 子图间隙调整           fig.subplots_adjust(top=5, bottom=0.1, left=0.9, right= 3.6, hspace=0.3, wspace=0.3)

测试

data = ['area', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'pay', 'student', 'hospitalt', 'realty']
plotCity(data)

data = ['area', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'pay', 'student', 'hospitalt', 'realty']
plotCity(data=data, plotType='plot')

第一、二、三产业百度百科介绍如下：

第一产业指生产食材以及其它一些生物材料的产业，如：种植业、林业、畜牧业、水产养殖业等直接以自然物为生产对象的产业。
第二产业主要指加工制造产业，利用自然界和第一产业提供的基本材料进行加工处理。
第三产业是指第一、第二产业以外的其他行业，主要包括交通运输业、通讯产业、商业、餐饮业、金融业、教育产业、公共服务等非物质生产部门。

由上面的线形图可视化可分析如下：
总体来看

各个省份的各项指标总体来说，呈现逐年增加的态势，不过增加的幅度不是很大

各项指标

在国内生产总值指标中

北上广深、重庆占据绝对优势
太原、呼和浩特、海口、西宁倒数，占比最小

在第一、二、三产业指标中

重庆是第一、第二产业龙头
北上广深是第二、三产业龙头

在零售总额指标中

北上广深、重庆不负众望，仍然占据绝对优势

在货物进出口指标中

北上深以绝对的优势碾压各省
其他省份普遍较低

在平均工资指标中

北上广深，拉萨占比较大

在校学生数指标中

宁夏、厦门、深圳、海口、拉萨、西宁、银川占比最小
深圳虽然是一线城市，但是大学学校不多

在医院数指标中

重庆、成都占比较大

在房地产投资指标中

北京、上海、杭州、郑州、广州、重庆、西安占比较大

综上所述

发展比较好的城市：北上广深、重庆
发展比较落后的城市：太原、呼和浩特、海口、西宁

data = ['area', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'pay', 'student', 'hospitalt', 'realty']
plotCity(data=data, plotType='pie')

data = ['area', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'pay', 'student', 'hospitalt', 'realty']
plotCity(data=data, plotType='bar')

data = ['area', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'pay', 'student', 'hospitalt', 'realty']
plotCity(data=data, plotType='barh')

data = ['area', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'pay', 'student', 'hospitalt', 'realty']
plotCity(data=data, plotType='hist')

data = ['area', 'total_value', 'one_value',  'two_value', 'three_value','zero_value', 'inout', 'pay', 'student', 'hospitalt', 'realty']
plotCity(data=data, plotType='boxplot')

雷达图可视化探索

下面将以雷达图来探索 36 个省 2015、2016、2017年的变化情况
探索指定的特征三年来的变化
第二产业增加值
年末总人口
房地产开发投资额
批量绘制 36 个雷达图…

# 将'year'设置成索引列
df = df.set_index(keys='year') import numpy as npdef leida(city):# 正常显示中文、坐标轴负号的问题plt.rcParams['font.sans-serif'] = 'Microsoft YaHei'plt.rcParams['axes.unicode_minus'] = Falsefig = plt.figure()  # 设置画布plt.style.use('ggplot')  # 图像风格# 特征的标签labels = ['第二产业增加值', '年末总人口', '房地产开发投资额']for i in range(len(city)):# 各省数据# beijing = df[df['area'] == '北京']values1 = df[df['area'] == city[i]].iloc[0, [3, 7, 11]].tolist()  # 2015 年values2 = df[df['area'] == city[i]].iloc[1, [3, 7, 11]].tolist()  # 2016 年values3 = df[df['area'] == city[i]].iloc[2, [3, 7, 11]].tolist()  # 2017 年# print(values1, values2)# 分配角度angles = np.linspace(0, 2 * np.pi, len(values1), endpoint=False)# 将数据和角度连接成一个圆圈values1 = np.concatenate((values1, [values1[0]]))values2 = np.concatenate((values2, [values2[0]]))values3 = np.concatenate((values3, [values3[0]]))angles = np.concatenate((angles, [angles[0]]))# 36 个省，绘制 18 x 2 个子图ax = fig.add_subplot(18, 2, i + 1, polar=True)  # polar=True 代表绘制极坐标图''' 绘制雷达图：marker='o' 代表设置点的样式为"圆圈"linewidth 线条的宽度label 标签，与图例共同使用'''ax.plot(angles, values1, marker='v', color= 'r', linewidth=1.5, label='2015')ax.fill(angles, values1, alpha=0.25)ax.plot(angles, values2, marker='v', color= 'm', linewidth=1.5, label='2016')ax.fill(angles, values2, alpha=0.25)ax.plot(angles, values3, marker='o', color= 'c', linewidth=1.5, label='2017')ax.fill(angles, values3, alpha=0.25)ax.set_thetagrids(angles * 180 / np.pi, labels)  # 标注上特征标签ax.set_title(city[i])  # 设置标题plt.legend(loc='center left')  # 图例, 左边中部ax.grid(True)  # 添加网格# 子图间隙调整，top 主要控制子图高度，right 主要控制子图宽度，# left 调整子图之间左右的间隙，bottom 调整上下间隙# fig.subplots_adjust(top=30, right=15, left=9)  # 左右间隙过大# fig.subplots_adjust(top=30, right=15, left=14)  # 上下间隙过大fig.subplots_adjust(top=30, right=15, left=14, bottom=17)# ----------------------------------------
# 测试调用雷达图
# tolist() 代表转换成列表
city = df['area'][:36].tolist()
leida(city)