数据来源1994年美国人口普查数据。

首先在notebook导入包和数据集

#导入数据分析包

import numpy as np

import pandas as pd

import seaborn as sns

import matplotlib.pyplot as plt

%matplotlib inline

#导入数据，并查看数据类型

df =pd.read_csv('adult.csv')

df.head()

看下最后一列收入情况

df['income'].value_counts()

收入大于50K的人数占到76%。

再看下数据总体情况，数据类型，和是否有缺失值。

df.describe()

df.info()

可以看到没有缺失值，如有缺失值需做数据填充。

探索数据

#把字段名字打印出来方便使用

df_list = df.columns.tolist()

print(df_list)

['age', 'workclass', 'fnlwgt', 'education', 'educational-num', 'marital-status', 'occupation', 'relationship', 'race', 'gender', 'capital-gain', 'capital-loss', 'hours-per-week', 'native-country', 'income']

一、首先看下年龄分布

sns.set_style("whitegrid")

plt.subplots(figsize=(15, 8))

s=df['age'].value_counts()

sns.barplot(s.index,s.values)

df.age.mean()

可以看到年龄峰值是在23岁，35、6岁左右，平均年龄是38.6

s=df['age'].value_counts()

k=df['age'][df['income']=='>50K'].value_counts()

sns.set_style("whitegrid")

f, ax = plt.subplots(figsize=(18, 9))

sns.set_color_codes("pastel")

sns.barplot(s.index,s.values,label='total',color="b")

sns.barplot(k.index,k.values,label='income>50K',color="g")

ax.legend(ncol=2, loc="upper left", frameon=True)

可以看到>50K收入的人呈现正态分布。在46岁左右>50K收入人群占比总体数据百分比最高

二、教育水平

plt.subplots(figsize=(15, 6))

s=df['education'].value_counts()

sns.barplot(s.index,s.values)

可以看出高中毕业人数有将近1.6万人，其次是大学肄业，这应该是美国的国情吧。

edu_n=df.groupby(['education','educational-num'])['education'].count()

edu_n

education 和 educational-num 是一一对应关系，做算法模型时可以删除一列。

education是分类变量，educational-num是数值变量，受教育水平是有顺序的，数字大小是有比较意义的，因此保留education-num。

edu_hincome=df['education'][df['income']=='>50K'].value_counts()

edu_lincome=df['education'][df['income']=='<=50K'].value_counts()

edu_high_per =edu_hincome/s

edu_low_per =edu_lincome/s

fig =plt.figure(figsize=(15,6))

sns.barplot(edu_high_per.index,edu_high_per.values,color='red',label='edu_highincome')

sns.barplot(edu_low_per.index,edu_low_per.values,bottom=edu_high_per,color='blue',label='edu_lowincome')

fig.legend(ncol=2, loc="upper center", frameon=True)

可以看到超过50K占比最高依次是,Prof-school，Doctorate,Masters,Bachelors 跟学习年限呈现正相关性。

第三、婚姻状况

f,ax=plt.subplots(figsize=(11, 6))

s=df['marital-status'].value_counts()

sns.barplot(s.index,s.values)

ax.set_xticklabels(ax.get_xticklabels(), rotation=45)

mer_hincome=df['marital-status'][df['income']=='>50K'].value_counts()

mer_lincome=df['marital-status'][df['income']=='<=50K'].value_counts()

f,ax=plt.subplots(figsize=[12,6])

sns.barplot(mer_lincome.index,mer_lincome.values,color='red',order=a,alpha = 0.7,label='mer_low_income')

sns.barplot(mer_hincome.index,mer_hincome.values,color='blue',order=a,alpha=0.5,label='mer_high_income')

ax.legend(ncol=2, loc="upper center", frameon=True)

可以看到已婚和收入高低有正相关性，但还不能说明因此有因果关系。

第四、职业分布以及和收入关系

plt.subplots(figsize=(8, 8))

s=df['occupation'].value_counts()

sns.barplot(y=s.index,x=s.values)

从业人数前三分别是Prof-specialty,Craft-repair,Exec-managerial

occ_hincome=df['occupation'][df['income']=='>50K'].value_counts()

occ_lincome=df['occupation'][df['income']=='<=50K'].value_counts()

f,ax=plt.subplots(figsize=[12,6])

a=s.index

sns.barplot(y=occ_lincome.index,x=occ_lincome.values,color='red',order=a,alpha = 0.7,label='occ_low_income')

sns.barplot(y=occ_hincome.index,x=occ_hincome.values,color='blue',order=a,alpha=0.5,label='occ_high_income')

ax.legend(ncol=2, loc="lower center", frameon=True)

可以看出高收入占比比较高的是Exec-managerial、Prof-specialty，比较低的是Handlers-cleaners、Farming-fishing，比较符合我们的日常认知。

第四、家庭

plt.subplots(figsize=(8, 8))

s=df['relationship'].value_counts()

plt.pie(s.values, labels=s.index, autopct='%1.1f%%')

第五、种族

plt.subplots(figsize=(8, 8))

s=df['relationship'].value_counts()

plt.pie(s.values, labels=s.index, autopct='%1.1f%%')

第六、性别

df['gender'].value_counts()

第七、资本收益和损失

plt.subplots(figsize=(7,5))

sns.distplot(df['capital-loss'][df['capital-loss']!=0])

资本损失密度函数，峰值在2000员左右，呈现正态分布

plt.subplots(figsize=(7,5))

sns.distplot(df['capital-gain'][df['capital-gain']!=0])

收益普遍比较高，在10美金出现很多极值

df['capital-gain'][(df['capital-gain']!=0)|(df['capital-loss']!=0)].agg(['mean','count'])

df['capital-loss'][(df['capital-gain']!=0)|(df['capital-loss']!=0)].agg(['mean','count'])

在有资本收益损失的调查人群6317人中，其中资本获益人均8343，资本损失人均676，看来行情不错。

gain_age=df.groupby(['age'])['capital-gain'].sum()

loss_age=df.groupby(['age'])['capital-loss'].sum()

fig =plt.figure(figsize=(15,6))

sns.barplot(gain_age.index,gain_age.values,color='yellow',alpha=0.7,label='capital_gain')

sns.barplot(loss_age.index,loss_age.values,color='red',alpha = 0.3,label='capital_loss')

fig.legend(ncol=2, loc="upper center", frameon=True)

看下分年龄的资本收入情况对比。

第八、工作时长

plt.subplots(figsize=(9,5))

sns.distplot(df['hours-per-week'])

接近50%的人是每周工作40个小时。

plt.subplots(figsize=(8, 9))

s=df['native-country'][df['native-country']!='United-States'].value_counts()

sns.barplot(y=s.index,x=

s.values)

可以看到前三移民来源国是Mexico，Philippines，Germany

以上是对各个参数做了一个基本的可视化分析。

特征工程

收入更改为0，1，方便建模

df['income'] = df['income'].apply(lambda s:s.strip())

df.loc[df['income']=='>50K','target'] =1

df.loc[df['income']!='>50K','target']= 0

df.drop(columns='income',inplace=True)

#删除

df.drop(columns='income',inplace=True)

特征处理

cat_columns = ['workclass', 'marital-status', 'occupation', 'relationship', 'race',

'gender','native-country']

num_columns = ['age','fnlwgt','educational-num','capital-gain', 'capital-loss', 'hours-per-week']

target_column = "target"

离散特征做one_hot_encode

encode_df= pd.get_dummies(df,columns=cat_columns)

df_x = encode_df.drop(columns=target_column)

df_y = encode_df[target_column]

df_y = df_y.values

连续特征标准化

num_mean = df_x[num_columns].mean()

num_std = df_x[num_columns].std()

num_normal = (df_x[num_columns]-num_mean)/num_std

df_x = df_x.drop(columns=num_columns)

df_x = pd.concat([df_x,num_normal],axis=1)

df_x = df_x.values

数据集划分成训练集和测试集

from sklearn.model_selection import StratifiedShuffleSplit

sss = StratifiedShuffleSplit(n_splits=2,train_size=0.7)

for train_index, test_index in sss.split(df_x,df_y):

trainx,testx =df_x[train_index],df_x[test_index]

trainy,testy = df_y[train_index],df_y[test_index]

构建模型

调用模型随机梯度下降分类器

from sklearn.linear_model import SGDClassifier

lr =SGDClassifier(loss='log',max_iter = 100)

lr.fit(trainx,trainy)

模型在训练集上评估

from sklearn.metrics import roc_auc_score,precision_recall_curve,classification_report,roc_curve

pred =lr.predict_proba(testx)[:,1]

pred_labels = lr.predict(testx)

#ROC

print(roc_auc_score(testy,pred))

#分类报告

print(classification_report(testy,pred_labels))

查看PR曲线和AUC曲线

#precision recall curve

precision,recall,_ =precision_recall_curve(testy,pred)

plt.plot(recall,precision)

精准率和召回率是个trade-off关系，根据业务事情情况做出选择。

fpr,tpr,_ = roc_curve(testy,pred)

plt.plot(fpr,tpr)

显示模型预测效果还可以。