独孤求败 —— 什么才是一个完整机器学习项目流程？适合九成以上的场景

一个完整的机器学习项目一般流程包括：
1、抽象成数学问题

　　首先要明确问题，分类还是回归，尽量避免胡乱尝试；

2、数据获取及分析

　　获取的数据要有代表性，否则必然会过拟合。
　　而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距。而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了。

3、数据预处理

　　数据清洗、数据归一化、扩充等。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。

4、特征工程

　　筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。

5、训练模型选择与调优

　　要根据数据的实际情况和具体要解决的问题来选择模型，比如样本数、特征维度，数据特征综合考虑；要解决的问题是分类还是回归，问题需要网络去关注哪方面，结合实际情况选择网络。

　　调优问题，可以采用交差验证，观察损失曲线，测试结果曲线等分析原因，调节参数：优化器、学习率、batchsize等

　　可以尝试多模型融合，来提高效果。

6、后处理

　　网络的到的结果一般不直接使用，通过一些后处理方案，不如加入先验约束，一些处理，将明显错误去除。

7、模型评估

　　从各个方面评估，模型准确率、误差，时间、空间复杂度，稳定性、迁移性等

独孤求败 —— 什么才是一个完整机器学习项目流程？适合九成以上的场景相关推荐

BAT面试题13：请简要说说一个完整机器学习项目的流程
BAT面试题13:请简要说说一个完整机器学习项目的流程 https://mp.weixin.qq.com/s/HiqC1MCb5TEBUxjiYvB7bA 摘要:本文描述机器学习任务的"OO ...
简要说说一个完整机器学习项目的流程
1 抽象成数学问题明确问题是进行机器学习的第一步.机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的. 这里的抽象成数学问题,指的我们明确我们可以获得什么样的数据,目标是一个分 ...
算法工程师面试备战笔记2_一个完整机器学习项目的流程
1 抽象成数学问题明确问题是进行机器学习的第一步.机器学习的训练过程通常都是一件非常耗时的事情,胡乱尝试时间成本是非常高的. 这里的抽象成数学问题,指的我们明确我们可以获得什么样的数据,目标是一个分 ...
人工智能概述、人工智能发展历程、人工智能主要分支、机器学习工作流程、完整机器学习项目的流程、机器学习算法分类、独立同分布、模型评估、深度学习简介
日萌社人工智能AI:Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战(不定时更新) 1.1 人工智能概述 1 人工智能应用场景 2 人工智能小案例 ...
【集成学习-组队学习】2.使用sklearn构建完整的机器学习项目流程
使用sklearn构建完整的机器学习项目流程组队学习来源: Datewhle23期__集成学习(上) : https://github.com/datawhalechina/team-learnin ...
【2021.03--集成学习（上）】使用 sklearn 构建完整的机器学习项目流程
本次 DataWhale 第二十三期组队学习,其开源内容的链接为:[https://github.com/datawhalechina/team-learning-data-mining/tree/m ...
测试环境搭建流程_案例解析：一个完整的项目测试方案流程，应该是怎么的？...
作为一名软件测试工程师,为项目制作完成的测试方案并执行,是我们日常工作的重要部分,同时,也是一名合格的软件测试工程师应有的专业素养.那么,很多小白和测试新手肯定要问了:一个完整的项目测试方案流程,应该 ...
FX5u控制4个伺服，一个完整的项目程序用标签分层，说明了定位控制中的公共参数设定、回原点、
FX5u控制4个伺服,一个完整的项目程序用标签分层,说明了定位控制中的公共参数设定.回原点.JOG手动.绝对定位.相对定位.控制等部分,威纶程序报警界面.多个机种选择,手动,自动,暂停,包括有: ...
vue.js — 安装Webpake创建一个完整的项目并上传至码云
vue.js - 安装Webpake创建一个完整的项目并上传至码云今天总结一下之前几天学习的一整套的创建项目方法: 前提条件:已安装node.js.npm/cnpm最新版本.vue-cli. VS ...
FX5u控制4个伺服，一个完整的项目回原点、JOG手动、绝对定位、相对定位、控制等部分
FX5u控制4个伺服,一个完整的项目程序用标签分层,说明了定位控制中的公共参数设定.回原点.JOG手动.绝对定位.相对定位.控制等部分,威纶程序报警界面.多个机种选择,手动,自动,暂停,包括有: ...

独孤求败 —— 什么才是一个完整机器学习项目流程？适合九成以上的场景

独孤求败 —— 什么才是一个完整机器学习项目流程？适合九成以上的场景相关推荐

最新文章

热门文章

独孤求败 —— 什么才是一个完整机器学习项目流程？ 适合九成以上的场景

独孤求败 —— 什么才是一个完整机器学习项目流程？ 适合九成以上的场景相关推荐

最新文章

热门文章

独孤求败 —— 什么才是一个完整机器学习项目流程？适合九成以上的场景

独孤求败 —— 什么才是一个完整机器学习项目流程？适合九成以上的场景相关推荐