#数据可视化分析

#python中matplotlib绘制图像

'''

import matplotlib.pyplot as plt

import matplotlib as mpl

import numpy as np

import warnings

warnings.filterwarnings("ignore")

plt.style.use("classic")

#正常的二维函数图像

x=np.linspace(0,10,100)

y=np.sin(x)

y1=np.cos(x)

plt.plot(x,y,"-")

plt.plot(x,y1,"--")

plt.show()

#多子图绘制

plt.figure()

plt.subplot(2,1,1) #绘制两行一列的图像，第几个图

plt.plot(x,y)

plt.subplot(2,1,2)

plt.plot(x,y1)

plt.show()

#子图绘制的第二种方式

fig,ax=plt.subplots(2)

ax[0].plot(x,y)

ax[1].plot(x,y1)

plt.show()

#底图的风格展示

plt.style.use("seaborn-whitegrid")

fig=plt.figure()

ax=plt.axes()

x=np.linspace(0,10,100)

ax.plot(x,np.sin(x))

plt.show()

#颜色调整

plt.plot(x,np.sin(x-0),color="blue")

plt.plot(x,np.sin(x-1),color="g")

plt.plot(x,np.sin(x-2),color="0.75")

plt.plot(x,np.sin(x-3),color="#FFDD44")

plt.plot(x,np.sin(x-4),color=(1.0,0.2,0.3))

plt.plot(x,np.sin(x-5),color="chartreuse")

plt.show()

#线条的样式

plt.figure()

plt.plot(x,x+0,linestyle="solid")

plt.plot(x,x+1,linestyle="dashed")

plt.plot(x,x+2,linestyle="dashdot")

plt.plot(x,x+3,linestyle="dotted")

plt.plot(x,x+4,linestyle="-")

plt.plot(x,x+5,linestyle="--")

plt.plot(x,x+6,linestyle="-.")

plt.plot(x,x+7,linestyle=":")

plt.show()

#不同的标记展示

rng=np.random.RandomState(0)

for marker in ["o",".",",","x","+","v","^","","s","d"]:

plt.plot(rng.rand(5),rng.rand(5),marker,label="marker='{}'".format(marker))

plt.legend(numpoints=1)

plt.xlim(0,1.8)

plt.show()

#绘制散点图

x=np.linspace(0,10,20)

plt.scatter(x,np.sin(x))

plt.show()

#绘制直方图

data=np.random.randn(1000)

plt.hist(data,color="g")

plt.show()

data=np.random.randn(1000)

plt.hist(data,bins=30,normed=True,alpha=0.5,histtype="stepfilled",color="steelblue",edgecolor="none")

plt.show()

x1=np.random.normal(0,0.8,1000)

x2=np.random.normal(-2,1,1000)

x3=np.random.normal(3,2,1000)

kwargs=dict(bins=40,normed=True,alpha=0.3,histtype="stepfilled")

plt.hist(x1,**kwargs)

plt.hist(x2,**kwargs)

plt.hist(x3,**kwargs)

plt.show()

#柱状图绘制

#箱式图(离散变量对连续变量的关系)

#python中的seaborn绘制图像

import seaborn as sns

import pandas as pd

df_iris=pd.read_csv('D:\Byrbt2018\Study\Python机器学习全流程项目实战精讲\配套课件\第五讲 数据分析与可视化\iris.csv')

fig,axes=plt.subplots(2)

sns.distplot(df_iris["petal length"],ax=axes[0],kde=True,rug=True)#加轴虚的直方图带拟合线

sns.kdeplot(df_iris["petal length"],ax=axes[1],shade=True)#拟合图

plt.show()

#四种直方图形式

sns.set(palette="muted",color_codes=True)

rs=np.random.RandomState(10)

d=rs.normal(size=100)

f,axes=plt.subplots(2,2,figsize=(7,7),sharex=True)

sns.distplot(d,kde=False,color="b",ax=axes[0,0])

sns.distplot(d,hist=False,rug=True,color="r",ax=axes[0,1])

sns.distplot(d,hist=False,color="g",kde_kws={"shade":True},ax=axes[1,0])

sns.distplot(d,color="m",ax=axes[1,1])

plt.show()

#绘制箱式图-不同类别鸢尾花的叶片宽度分布

sns.boxplot(x=df_iris["class"],y=df_iris["sepal width"])

plt.show()

#图矩阵

sns.set()

sns.pairplot(df_iris,hue="class")

plt.show()

'''

#1-3 招聘数据的探索性数据分析

import pandas as pd

import numpy as np

import matplotlib.pyplot as plt

import seaborn as sns

#拿到数据表格，导入数据

data=pd.read_csv('D:\Byrbt2018\Study\Python机器学习全流程项目实战精讲\配套课件\第五讲 数据分析与可视化\lagou_preprocessed.csv',encoding="gbk")

print(data.head())

#输出数据的基本信息

print(data.info())

#数值型变量的统计量描述

print(data.describe())

#目标变量分析salary

#回归连续性变量统计分析

print(data["salary"].describe())

#绘制目标变量的直方图，查看值分布

plt.hist(data["salary"])

plt.show()

#使用seaborn绘制直方图

import warnings

warnings.filterwarnings("ignore")

sns.distplot(data["salary"])

plt.show()

#计算目标变量的偏度和峰度

from scipy import stats

print("Skewness:%f" % data["salary"].skew())

print("Kurtosis: %f" % data["salary"].kurt())

#分类变量处理-直接统计各个分类结果的数目

#分类值统计

cols=["city","education","position_name","size","stage","work_year"]

for col in cols:

print(data[col].value_counts())

#将一些分类结果归结为其他

city=["北京","上海","广州","深圳","杭州","成都","南京","武汉","南京"]

for i,j in enumerate(data["city"]):

if j not in city:

data["city"][i]="其他"

print(data["city"].value_counts())

#解决绘图中的文字体显示问题

from pylab import *

mpl.rcParams["font.sans-serif"]=["SimHei"]

#城市分类与工资水平的箱线图

sns.boxplot(x=data["city"],y=data["salary"])

plt.show()

#学历与学历的关系

sns.boxplot(x=data["education"],y=data["salary"])

plt.show()

#经验与工资水平的关系

sns.boxplot(x=data["work_year"],y=data["salary"])

plt.show()

#企业发展阶段与工资水平的关系

sns.boxplot(x=data["stage"],y=data["salary"])

plt.show()

#企业规模与工资水平的关系

sns.boxplot(x=data["size"],y=data["salary"])

plt.show()

#岗位与工资水平的关系

sns.boxplot(x=data["position_name"],y=data["salary"])

plt.show()

#处理industry变量

for i,j in enumerate(data["industry"]):

if "," not in j:

data["industry"][i]=j

else:

data["industry"][i]=j.split(",")[0]

print(data["industry"].value_counts())

indus=["移动互联网","金融","数据服务","电子商务","企业服务","医疗健康","O2O","硬件","信息安全","教育"]

for i,j in enumerate(data["industry"]):

if j not in indus:

data["industry"][i]="其他"

else:

data["industry"][i]=j

print(data["industry"].value_counts())

#行业与工资水平的关系

sns.boxplot(x=data["industry"],y=data["salary"])

plt.show()

#大文本的特征信息数据分析-使用结巴库和词云图来进行展示

ADV=[]

for i in data["advantage"]:

ADV.append(i)

ADv_text="".join(ADV)

print(ADv_text)

'''import jieba

result=jieba.cut(ADv_text)

print("切分结果："+",".join(result))

#加入一些jieba库中没有的词汇

jieba.suggest_freq(("五险一金"),True)

jieba.suggest_freq(("六险一金"),True)

jieba.suggest_freq(("带薪年假"),True)

jieba.suggest_freq(("年度旅游"),True)

jieba.suggest_freq(("氛围好"),True)

jieba.suggest_freq(("技术大牛"),True)

jieba.suggest_freq(("免费三餐"),True)

jieba.suggest_freq(("租房补贴"),True)

jieba.suggest_freq(("大数据"),True)

jieba.suggest_freq(("精英团队"),True)

jieba.suggest_freq(("晋升空间大"),True)

result=jieba.cut(ADv_text)

print("切分结果："+",".join(result))

from wordcloud import WordCloud

wordcloud = WordCloud(font_path="MSYH.TTF",background_color="black").generate(ADv_text)

plt.imshow(wordcloud)

plt.axis("off")

plt.show()

'''