《深度学习Python实践》第14章—

1.数据准备和生成模型的Pipeline

Pipeline最小化数据损失
Pipeline能够处理训练数据和评估数据集之间的数据泄漏问题，通常在数据处理过程中对分离出的所有数据子集做同样的数据处理，如正态化处理。

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.pipeline import Pipeline
from sklearn.preprocessing import StandardScaler
filename='/home/duan/pima indians.txt'
names=['preg','plas','pres','skin','test','mass','pedi','age','class']
dataset=read_csv(filename,names=names)array=dataset.values
X=array[:,0:8]
Y=array[:,8]
seed=7kfold=KFold(n_splits=num_folds, random_state=seed)
steps=[]
steps.append(('Standardize',StandardScaler()))
steps.append(('lda',LinearDiscriminantAnalysis()))model=Pipeline(steps)
result=cross_val_score(model,X,Y,cv=kfold)
print(result.mean())

运行结果为：

0.773462064251538

2.特征选择和生成模型的Pipeline

Pipeline也提供了一个工具（FeatureUnion)来保证数据特征选择时数据的稳固性。

from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.pipeline import FeatureUnion
from sklearn.pipeline import Pipeline
from sklearn.decomposition import PCA
from sklearn.feature_selection import SelectKBest
from sklearn.linear_model import LogisticRegressionfilename='/home/duan/pima indians.txt'
names=['preg','plas','pres','skin','test','mass','pedi','age','class']
dataset=read_csv(filename,names = names)array=dataset.values
X=array[:,0:8]
Y=array[:,8]
seed=7kfold=KFold(n_splits = num_folds, random_state=seed)#生成featuresunion
features=[]
features.append(('pca',PCA()))
features.append(('select_best',SelectKBest(k=6)))#生成Pipeline
steps=[]
steps.append(('feature_union',FeatureUnion(features)))
steps.append(('Logistic',LogisticRegression()))model=Pipeline(steps)
result=cross_val_score(model,X,Y,cv=kfold)
print(result.mean())

运行结果：

0.7799555707450445

《深度学习Python实践》第14章——自动流程相关推荐

零基础学习Python 作业第14章
==========CH14 homework========== 0 还记得如何定义一个跨越多行的字符串吗(请至少写出两种实现的方法)? Answer: '\', '()', "' cod ...
【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（四）（Python语言基础（2））
[神经网络与深度学习-TensorFlow实践]-中国大学MOOC课程(四)(Python语言基础(2)) 第4讲 Python语言基础(2) 4.1 内置数据结构 4.1.1 序列数据结构(sequ ...
人工神经网络理论、设计及应用_TensorFlow深度学习应用实践：教你如何掌握深度学习模型及应用...
前言通过TensorFlow图像处理,全面掌握深度学习模型及应用. 全面深入讲解反馈神经网络和卷积神经网络理论体系. 结合深度学习实际案例的实现,掌握TensorFlow程序设计方法和技巧. 着重深 ...
解析深度学习:语音识别实践 (俞栋等著) 完整pdf[44MB]
AlphaGo与李世石的围棋大战激发了人们对人工智能是非的诸多争论.人工智能背后的工作原理深度学习跳入大众的视野.AlphaGo的大获全胜一定程度展示了深度学习在应用领域的成功,而语音识别正是深度学习 ...
【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（八）（TensorFlow基础））
[神经网络与深度学习-TensorFlow实践]-中国大学MOOC课程(八)(TensorFlow基础)) 8 TensorFlow基础 8.1 TensorFlow2.0特性 8.1.1 Tenso ...
深度学习笔记第二门课改善深层神经网络第一周：深度学习的实践层面
本文是吴恩达老师的深度学习课程[1]笔记部分. 作者:黄海广[2] 主要编写人员:黄海广.林兴木(第四所有底稿,第五课第一二周,第三周前三节).祝彦森:(第三课所有底稿).贺志尧(第五课第三周底稿). ...
2.1）深度学习笔记：深度学习的实践层面
目录 1)Train/Dev/Test sets 2)Bias/Variance 3)Regularization(重点) 4)Why regularization reduces overfitti ...
02.改善深层神经网络：超参数调试、正则化以及优化 W1.深度学习的实践层面（作业：初始化+正则化+梯度检验）
文章目录作业1:初始化 1. 神经网络模型 2. 使用 0 初始化 3. 随机初始化 4. He 初始化作业2:正则化 1. 无正则化模型 2. L2 正则化 3. DropOut 正则化 3.1 ...
【神经网络与深度学习-TensorFlow实践】-中国大学MOOC课程（十四）（卷积神经网络））
[神经网络与深度学习-TensorFlow实践]-中国大学MOOC课程(十四)(卷积神经网络)) 14 卷积神经网络 14.1 深度学习基础 14.1.1 深度学习的基本思想 14.1.2 深度学习三 ...
八大深度学习最佳实践
翻译 | AI科技大本营参与 | 刘畅［AI 科技大本营导读］ 2017年,许多的人工智能算法得到了实践和应用.名博Hack Noon作者 Brian Muhia 认为想要玩转人工智能,不仅要拥有 ...

《深度学习Python实践》第14章——自动流程

1.数据准备和生成模型的Pipeline

2.特征选择和生成模型的Pipeline

《深度学习Python实践》第14章——自动流程相关推荐

最新文章

热门文章