1 def fit(self, X, y=None):
2         """Do nothing and return the estimator unchanged 3  This method is just there to implement the usual API and hence 4  work in pipelines. 5 """ 6 X = check_array(X, accept_sparse='csr') 7 return self

 1 from numpy import hstack, vstack, array, median, nan
 2 from numpy.random import choice  3 from sklearn.datasets import load_iris  4  5 #特征矩阵加工  6 #使用vstack增加一行含缺失值的样本(nan, nan, nan, nan)  7 #使用hstack增加一列表示花的颜色（0-白、1-黄、2-红），花的颜色是随机的，意味着颜色并不影响花的分类  8 iris.data = hstack((choice([0, 1, 2], size=iris.data.shape[0]+1).reshape(-1,1), vstack((iris.data, array([nan, nan, nan, nan]).reshape(1,-1)))))  9 #目标值向量加工 10 #增加一个目标值，对应含缺失值的样本，值为众数 11 iris.target = hstack((iris.target, array([median(iris.target)])))

 1 from numpy import log1p
 2 from sklearn.preprocessing import FunctionTransformer  3 from sklearn.preprocessing import Binarizer  4 from sklearn.pipeline import FeatureUnion  5  6 #新建将整体特征矩阵进行对数函数转换的对象  7 step2_1 = ('ToLog', FunctionTransformer(log1p))  8 #新建将整体特征矩阵进行二值化类的对象  9 step2_2 = ('ToBinary', Binarizer()) 10 #新建整体并行处理对象 11 #该对象也有fit和transform方法，fit和transform方法均是并行地调用需要并行处理的对象的fit和transform方法 12 #参数transformer_list为需要并行处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象 13 step2 = ('FeatureUnion', FeatureUnion(transformer_list=[step2_1, step2_2, step2_3]))

 1 from numpy import log1p
 2 from sklearn.preprocessing import OneHotEncoder  3 from sklearn.preprocessing import FunctionTransformer  4 from sklearn.preprocessing import Binarizer  5  6 #新建将部分特征矩阵进行定性特征编码的对象  7 step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False))  8 #新建将部分特征矩阵进行对数函数转换的对象  9 step2_2 = ('ToLog', FunctionTransformer(log1p)) 10 #新建将部分特征矩阵进行二值化类的对象 11 step2_3 = ('ToBinary', Binarizer()) 12 #新建部分并行处理对象 13 #参数transformer_list为需要并行处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象 14 #参数idx_list为相应的需要读取的特征矩阵的列 15 step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]]))

 1 from numpy import log1p
 2 from sklearn.preprocessing import Imputer  3 from sklearn.preprocessing import OneHotEncoder  4 from sklearn.preprocessing import FunctionTransformer  5 from sklearn.preprocessing import Binarizer  6 from sklearn.preprocessing import MinMaxScaler  7 from sklearn.feature_selection import SelectKBest  8 from sklearn.feature_selection import chi2  9 from sklearn.decomposition import PCA 10 from sklearn.linear_model import LogisticRegression 11 from sklearn.pipeline import Pipeline 12 13 #新建计算缺失值的对象 14 step1 = ('Imputer', Imputer()) 15 #新建将部分特征矩阵进行定性特征编码的对象 16 step2_1 = ('OneHotEncoder', OneHotEncoder(sparse=False)) 17 #新建将部分特征矩阵进行对数函数转换的对象 18 step2_2 = ('ToLog', FunctionTransformer(log1p)) 19 #新建将部分特征矩阵进行二值化类的对象 20 step2_3 = ('ToBinary', Binarizer()) 21 #新建部分并行处理对象，返回值为每个并行工作的输出的合并 22 step2 = ('FeatureUnionExt', FeatureUnionExt(transformer_list=[step2_1, step2_2, step2_3], idx_list=[[0], [1, 2, 3], [4]])) 23 #新建无量纲化对象 24 step3 = ('MinMaxScaler', MinMaxScaler()) 25 #新建卡方校验选择特征的对象 26 step4 = ('SelectKBest', SelectKBest(chi2, k=3)) 27 #新建PCA降维的对象 28 step5 = ('PCA', PCA(n_components=2)) 29 #新建逻辑回归的对象，其为待训练的模型作为流水线的最后一步 30 step6 = ('LogisticRegression', LogisticRegression(penalty='l2')) 31 #新建流水线处理对象 32 #参数steps为需要流水线处理的对象列表，该列表为二元组列表，第一元为对象的名称，第二元为对象 33 pipeline = Pipeline(steps=[step1, step2, step3, step4, step5, step6])

1 from sklearn.grid_search import GridSearchCV
2
3 #新建网格搜索对象 4 #第一参数为待训练的模型 5 #param_grid为待调参数组成的网格，字典格式，键为参数名称（格式“对象名称__子对象名称__参数名称”），值为可取的参数值列表 6 grid_search = GridSearchCV(pipeline, param_grid={'FeatureUnionExt__ToBinary__threshold':[1.0, 2.0, 3.0, 4.0], 'LogisticRegression__C':[0.1, 0.2, 0.4, 0.8]}) 7 #训练以及调参 8 grid_search.fit(iris.data, iris.target)

1 #持久化数据
2 #第一个参数为内存中的对象 3 #第二个参数为保存在文件系统中的名称 4 #第三个参数为压缩级别，0为不压缩，3为合适的压缩级别 5 dump(grid_search, 'grid_search.dmp', compress=3) 6 #从文件系统中加载数据到内存中 7 grid_search = load('grid_search.dmp')