一个框架解决机器学习大部分问题!
来源:大数据挖掘DT数据分析
本文长度为2519字,建议阅读5分钟
本文为你介绍一个几乎可以解决任何机器学习问题的自动的机器学习框架。
一个叫 Abhishek Thakur 的数据科学家,在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learning Problem,介绍他建立的一个自动的机器学习框架,几乎可以解决任何机器学习问题,项目很快也会发布出来。这篇文章迅速火遍 Kaggle,当然也是受到争议,很多人觉得并不全面。
我最近也在准备参加 Kaggle,今天看了这篇文章,里面提到了一些高效的方法。最棒的是,他做了一个表格,列出了各个算法通常需要训练的参数。这个问题很重要,因为大部分时间都是通过调节参数,训练模型来提高精度。作为一个初学者,第一阶段,最想知道的问题,就是如何调节参数。
接下来一起来看一下他的框架。
据说数据科学家 60-70% 的时间都花在数据清洗和应用模型算法上面,这个框架主要针对算法的应用部分。
什么是 Kaggle?
Kaggle是一个数据科学竞赛的平台,很多公司会发布一些接近真实业务的问题,吸引爱好数据科学的人来一起解决,可以通过这些数据积累经验,提高机器学习的水平。
应用算法解决 Kaggle 问题,一般有以下几个步骤:
第一步:识别问题
第二步:分离数据
第三步:构造提取特征
第四步:组合数据
第五步:分解
第六步:选择特征
第七步:选择算法进行训练
当然,工欲善其事,必先利其器,要先把工具和包都安好。
最方便的就是安装 Anaconda,这里面包含大部分数据科学所需要的包,直接引入就可以了,常用的包有:
pandas:常用来将数据转化成 dataframe 形式进行操作
scikit-learn:里面有要用到的机器学习算法模型
matplotlib:用来画图
xgboost,keras,tqdm 等。
第一步:识别问题
在这一步先明确这个问题是分类还是回归。通过问题和数据就可以判断出来,数据由 X 和 label 列构成,label 可以一列也可以多列,可以是二进制也可以是实数,当它为二进制时,问题属于分类,当它为实数时,问题属于回归。
第二步:分离数据
为什么需要将数据分成两部分?
用Training Data来训练模型,用Validation Data来检验这个模型的表现,不然的话,通过各种调节参数,模型可以在训练数据集上面表现的非常出色,但是这可能会是过拟合,过拟合就是太依赖现有的数据了,拟合的效果特别好,但是只适用于训练集,以致于来一个新的数据,就不知道该预测成什么了。所以需要有Validation来验证一下,看这个模型是在那里自娱自乐呢,还是真的表现出色。
在 scikit learn 包里就有工具可以帮你做到这些:
分类问题用 StrtifiedKFold
from sklearn.cross_validation import StratifiedKFold
回归问题用 KFold
from sklearn.cross_validation import KFold
第三步:构造特征
这个时候,需要将数据转化成模型需要的形式。数据有三种类型:数字,类别,文字。当数据是类别的形式时,需要将它的每一类提取出来作为单独一列,然后用二进制表示每条记录相应的值。例如:
record 1:性别 女
record 2:性别 女
record 3:性别 男
转化之后就是:
女 男
record 1:1 0
record 2:1 0
record 3:0 1
这个过程 sklearn 也可以帮你做到:
from sklearn.preprocessing import LabelEncoder
或者
from sklearn.preprocessing import OneHotEncoder
第四步:组合数据
处理完 Feature 之后,就将它们组合到一起。
如果数据是稠密的,就可以用 numpy 的 hstack:
import numpy as np
X = np.hstack((x1, x2, ...))
如果是稀疏的,就用 sparse 的 hstack:
from scipy import sparse
X = sparse.hstack((x1, x2, ...))
组合之后,就可以应用以下算法模型:
RandomForestClassifier
RandomForestRegressor
ExtraTreesClassifier
ExtraTreesRegressor
XGBClassifier
XGBRegressor
但是不能应用线性模型,线性模型之前需要对数据进行正则化而不是上述预处理。
第五步:分解
这一步是为了进一步优化模型,可以用以下方法:
PCA:Principal components analysis,主成分分析,是一种分析、简化数据集的技术。用于减少数据集的维数,同时保持数据集中的对方差贡献最大的特征。
from sklearn.decomposition import PCA
对于文字数据,在转化成稀疏矩阵之后,可以用 SVD
from sklearn.decomposition import TruncatedSVD
SVD:Singular Value Decomposition,奇异值分解,是线性代数中一种重要的矩阵分解,它总能找到标准化正交基后方差最大的维度,因此用它进行降维去噪。
第六步:选择特征
当特征个数越多时,分析特征、训练模型所需的时间就越长,容易引起“维度灾难”,模型也会越复杂,推广能力也会下降,所以需要剔除不相关或亢余的特征。
常用的算法有完全搜索,启发式搜索,和随机算法。
例如,Random Forest:
from sklearn.ensemble import RandomForestClassifier
或者 xgboost:
import xgboost as xgb
对于稀疏的数据,比较有名的方法是chi-2:
from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
第七步:选择算法进行训练
选择完最相关的参数之后,接下来就可以应用算法,常用的算法有:
Classification:
Random Forest
GBM
Logistic Regression
Naive Bayes
Support Vector Machines
k-Nearest Neighbors
Regression:
Random Forest
GBM
Linear Regression
Ridge
Lasso
SVR
在scikit-learn里可以看到分类和回归的可用的算法一览,包括它们的原理和例子代码。
在应用各算法之前先要明确这个方法到底是否合适。
为什么那么多算法里,只提出这几个算法呢,这就需要对比不同算法的性能了。
这篇神文 Do we Need Hundreds of Classifiers to Solve Real World Classification Problems 测试了179种分类模型在UCI所有的121个数据上的性能,发现Random Forests 和 SVM 性能最好。
我们可以学习一下里面的调研思路,看看是怎么样得到比较结果的,在我们的实践中也有一定的指导作用。
但是直接应用算法后,一般精度都不是很理想,这个时候需要调节参数,最干货的问题来了,什么模型需要调节什么参数呢?
虽然在sklearn的文档里,会列出所有算法所带有的参数,但是里面并不会说调节哪个会有效。在一些mooc课程里,有一些项目的代码,里面可以看到一些算法应用时,他们重点调节的参数,但是有的也不会说清楚为什么不调节别的。这里作者根据他100多次比赛的经验,列出了这个表,我觉得可以借鉴一下,当然,如果有时间的话,去对照文档里的参数列表,再查一下算法的原理,通过理论也是可以判断出来哪个参数影响比较大的。
调参之后,也并不就是大功告成,这个时候还是需要去思考,是什么原因造成精度低的,是哪些数据的深意还没有被挖掘到,这个时候需要用统计和可视化去再一次探索数据,之后就再走一遍上面的过程。
我觉得这里还提到了很有用的一条经验是,把所有的 transformer 都保存起来,方便在 validation 数据集上面应用:
文章里介绍了分析问题的思路,还提到了几条很实用的经验,不过经验终究是别人的经验,只能借鉴,要想提高自己的水平,还是要看到作者背后的事情,就是参加了100多次实战,接下来就去行动吧,享受用算法和代码与数据燃起的兴奋吧。
编辑:王璇
一个框架解决机器学习大部分问题!相关推荐
- 一个框架解决几乎所有机器学习问题
https://www.toutiao.com/a6677152041313239555/ 一个叫 Abhishek Thakur 的数据科学家,在他的 Linkedin 发表了一篇文章 Approa ...
- 机器学习框架_一个框架解决几乎所有机器学习问题
一个叫 Abhishek Thakur 的数据科学家,在他的 Linkedin 发表了一篇文章 Approaching (Almost) Any Machine Learning Problem,介绍 ...
- [干货]Kaggle热门 | 用一个框架解决所有机器学习难题
新智元推荐 来源:LinkedIn 作者:Abhishek Thakur 译者:弗格森 [新智元导读]本文是数据科学家Abhishek Thakur发表的Kaggle热门文章.作者总结了自己参加100 ...
- 机器学习的框架(一个框架解决几乎所有机器学习的问题)
转自:http://www.36dsj.com/archives/37254 本周早些时候Google开源了TensorFlow(GitHub),此举在深度学习领域影响巨大,因为Google在人工智能 ...
- 教你舞动手指速写一个Seata-AT框架解决棘手的分布式事务问题
相信大家对于事务问题都不陌生,在传统的单库环境下开发,咱们可依赖于MySQL所提供的事务机制,来确保单个事务内的一组操作,要么全部执行成功,要么全部执行失败. 例如一个下单业务中,假设由「扣减库存.新 ...
- Adam 那么棒,为什么还对 SGD 念念不忘?一个框架看懂深度学习优化算法
作者|Juliuszh 链接 | https://zhuanlan.zhihu.com/juliuszh 本文仅作学术分享,若侵权,请联系后台删文处理 机器学习界有一群炼丹师,他们每天的日常是: 拿来 ...
- 如何解决机器学习中数据不平衡问题
作者:无影随想 时间:2016年1月. 出处:https://zhaokv.com/machine_learning/2016/01/learning-from-imbalanced-data.h ...
- 如何解决机器学习中数据不平衡问题(转)
作者:无影随想 时间:2016年1月. 出处:http://www.zhaokv.com/2016/01/learning-from-imbalanced-data.html 这几年来,机器学习和 ...
- MindSpore联邦学习框架解决行业级难题
内容来源:华为开发者大会2021 HMS Core 6 AI技术论坛,主题演讲<MindSpore联邦学习框架解决隐私合规下的数据孤岛问题>. 演讲嘉宾:华为MindSpore联邦学习工程 ...
最新文章
- 算法系列之二十:计算中国农历(二)
- Bi-level error correction for PacBio long reads. PacBio长读数的两级纠错
- PM配置详解之一:企业结构
- Python爬虫入门三之Urllib库的基本使用
- azure mysql 配置,微软Azure云MySQL in-app 的配置,简化PHP内容管理系统配置
- 后台获取html控件的值
- 23种设计模式C++源码与UML实现--组合模式
- 如果数据库也有一个元宇宙,应该会是什么样子?
- php 调用日历控制,基于ThinkPHP实现的日历功能实例详解
- 大型企业用什么orm_在大型仓储物流企业中使用什么类型的货架更为合适呢?
- OKExChain生态项目KSwap完成50万美元种子轮融资
- 游戏用计算机配置表显卡,5000元电脑配置9代i5配GTX1660TI显卡配置清单(可装Win7)...
- matlab 正态分布相关 API
- TensorFlow by Google一个计算机视觉示例Machine Learning Foundations: Ep #2 - First steps in computer vision
- C#:String.Format数字格式化输出 {0:N2} {0:D2} {0:C2}...
- MATLAB聚类分析学习笔记
- python#魔兽游戏#英雄联盟lol#地图
- QPSK数字调制系统在AWGN信道下的BER仿真
- Windows 10 系统关闭自动更新
- 企业实战之部署Solarwinds Network八部众
热门文章
- 黄聪:C# webBrowser控件禁用alert,confirm之类的弹窗解决方案
- 浅谈(线性)卷积公式为什么要翻转
- centos6.5下部署用于生产的hadoop,并使用C语言API连接hadoop
- python 开始学习
- ViewGroup1——自定义布局
- Welcome to Linux From Scratch!
- 软考下午题详解---uml图
- 如何在自己工程项目中使用TouchJSON框架
- 效率最高的Excel数据导入---(c#调用SSIS Package将数据库数据导入到Excel文件中【附源代码下载】)...
- 今天你(L)China了吗?