机器学习入门到进阶学习路线

参考：https://mp.weixin.qq.com/s/f-v-NUW7pTbVF9Sa3A4qUA

1. 定义

机器学习研究的是计算机怎样模拟人类的学习行为，以获取新的知识或技能，并重新组织已有的知识结构使之不断改善自身

2. 机器学习关注问题

分类与回归问题需要用已知结果的数据做训练，属于“监督学习”；聚类的问题不需要已知标签，属于“非监督学习”。

应用：
1. 计算机视觉，典型的应用包括：人脸识别、车牌识别、扫描文字识别、图片内容识别、图片搜索等等。
2. 自然语言处理，典型的应用包括：搜索引擎智能匹配、文本内容理解、文本情绪判断，语音识别、输入法、机器翻译等等。
3. 社会网络分析，典型的应用包括：用户画像、网络关联分析、欺诈作弊发现、热点发现等等。
4. 推荐，典型的应用包括：虾米音乐的“歌曲推荐”，某宝的“猜你喜欢”等等。

3. 入门方法与学习路径

数学基础：
- 代数
- 数学分析
- 组合数学
- 概率论
- 统计学：极大似然思想、贝叶斯模型是理论基础，朴素贝叶斯(Na?ve Bayes )、语言模型(N-gram)、隐马尔科夫（HMM）、隐变量混合概率模型是他们的高级形态。常见分布如高斯分布是混合高斯模型(GMM)等的基础。
- 数值计算
- 凸优化：凸优化和条件最优化
- 信息论
典型算法：
- 处理分类问题的常用算法包括：逻辑回归(工业界最常用)，支持向量机，随机森林，朴素贝叶斯(NLP中常用)，深度神经网络(视频、图片、语音等多媒体数据中使用)。
- 处理回归问题的常用算法包括：线性回归，普通最小二乘回归（Ordinary Least Squares Regression），逐步回归（Stepwise Regression），多元自适应回归样条（Multivariate Adaptive Regression Splines）
- 处理聚类问题的常用算法包括：K均值（K-means），基于密度聚类，LDA等等。
- 降维的常用算法包括：主成分分析（PCA）,奇异值分解（SVD）等。
- 推荐系统的常用算法：协同过滤算法
- 模型融合(model ensemble)和提升(boosting)的算法包括：bagging，adaboost，GBDT，GBRT
- 其他很重要的算法包括：EM算法等等。
编程语言、工具和环境
- 爬虫: scrapy
- 深度学习：keras/TensorFlow
- 自然语言处理: nltk
- 交互式环境：ipython notebook
- Java系列：WEKA Machine Learning Workbench 相当于java中的scikit-learn；
- 其他的工具如Massive Online Analysis（MOA）、MEKA 、 Mallet 等也非常有名。更多详细的应用请参考这篇文章《25个Java机器学习工具&库》
- C++系列：mlpack，高效同时可扩充性非常好的机器学习库。
- Shark：文档齐全的老牌C++机器学习库大数据相关
- Hadoop：基本上是工业界的标配了。一般用来做特征清洗、特征处理的相关工作。
- spark：提供了MLlib这样的大数据机器学习平台，实现了很多常用算法。但可靠性、稳定性上有待提高。

4. 工作流程如下:

抽象成数学问题
获取数据
- 数据决定了机器学习结果的上限，而算法只是尽可能逼近这个上限。
- 数据要有代表性，否则必然会过拟合。
- 而且对于分类问题，数据偏斜不能过于严重，不同类别的数据数量不要有数个数量级的差距。
- 而且还要对数据的量级有一个评估，多少个样本，多少个特征，可以估算出其对内存的消耗程度，判断训练过程中内存是否能够放得下。如果放不下就得考虑改进算法或者使用一些降维的技巧了。如果数据量实在太大，那就要考虑分布式了.
特征预处理与特征选择
- 良好的数据要能够提取出良好的特征才能真正发挥效力。
- 特征预处理、数据清洗是很关键的步骤，往往能够使得算法的效果和性能得到显著提高。归一化、离散化、因子化、缺失值处理、去除共线性等，数据挖掘过程中很多时间就花在它们上面。这些工作简单可复制，收益稳定可预期，是机器学习的基础必备步骤。
- 筛选出显著特征、摒弃非显著特征，需要机器学习工程师反复理解业务。这对很多结果有决定性的影响。特征选择好了，非常简单的算法也能得出良好、稳定的结果。这需要运用特征有效性分析的相关技术，如相关系数、卡方检验、平均互信息、条件熵、后验概率、逻辑回归权重等方法。
训练模型与调优
模型诊断
如何确定模型调优的方向与思路呢？这就需要对模型进行诊断的技术。
- 过拟合、欠拟合判断是模型诊断中至关重要的一步。常见的方法如交叉验证，绘制学习曲线等。过拟合的基本调优思路是增加数据量，降低模型复杂度。欠拟合的基本调优思路是提高特征数量和质量，增加模型复杂度。
- 误差分析也是机器学习至关重要的步骤。通过观察误差样本，全面分析误差产生误差的原因:是参数的问题还是算法选择的问题，是特征的问题还是数据本身的问题……
- 诊断后的模型需要进行调优，调优后的新模型需要重新进行诊断，这是一个反复迭代不断逼近的过程，需要不断地尝试，进而达到最优状态。
模型融合
- 一般来说，模型融合后都能使得效果有一定提升。而且效果很好。
- 工程上，主要提升算法准确度的方法是分别在模型的前端（特征清洗和预处理，不同的采样模式）与后端（模型融合）上下功夫。因为他们比较标准可复制，效果比较稳定。而直接调参的工作不会很多，毕竟大量数据训练起来太慢了，而且效果难以保证。
上线运行
- 这一部分内容主要跟工程实现的相关性比较大。工程上是结果导向，模型在线上运行的效果直接决定模型的成败。不单纯包括其准确程度、误差等情况，还包括其运行的速度(时间复杂度)、资源消耗程度（空间复杂度）、稳定性是否可接受。

从一个数据源开始，即使是用最传统，已经应用多年的机器学习算法，先完整地走完机器学习的整个工作流程，不断尝试各种算法深挖这些数据的价值，在运用过程中把数据、特征和算法搞透，真正积累出项目经验才是最快、最靠谱的学习路径。国外的Kaggle和国内的DataCastle 以及阿里天池比赛都是很好的平台，你可以在上面获取真实的数据和数据科学家们一起学习和进行竞赛

5. 自主学习能力

信息检索过滤与整合能力
google搜索引擎技巧——组合替换搜索关键词、站内搜索、学术文献搜索、PDF搜索等——都是必备的。一个比较好的习惯是找到信息的原始出处，如个人站、公众号、博客、专业网站、书籍等等。这样就能够找到系统化、不失真的高质量信息。百度搜到的技术类信息不够好。学会去常见的高质量信息源中搜索东西:stackoverflow（程序相关）、quora（高质量回答）、wikipedia（系统化知识，比某某百科不知道好太多）、知乎（中文、有料）、网盘搜索（免费资源一大把）等。将搜集到的网页放到分类齐全的云端收藏夹里，并经常整理。这样无论在公司还是在家里，在电脑前还是在手机上，都能够找到自己喜欢的东西。搜集到的文件、代码、电子书等等也放到云端网盘里，并经常整理。
提炼与总结能力.
经常作笔记，并总结自己学到的知识是成长的不二法门。云端笔记里，印象笔记、为知笔记
提问与求助能力.
学会正确的问问题的方式:陈述清楚你的业务场景和业务需求是什么，有什么已知条件，在哪个具体的节点上遇到困难了，并做过哪些努力。有一篇经典的文章告诉你怎样通过提问获得帮助：《提问的智慧》
分享的习惯.

6. 相关资源推荐

入门资源
首先coursera 是一个非常好的学习网站，集中了全球的精品课程。
• 微积分相关.
Calculus: Single Variable
Multivariable Calculus.
• 线性代数.
Linear Algebra.
• 概率统计.
Introduction to Statistics: Descriptive Statistics
Probabilistic Systems Analysis and Applied Probability.
• 编程语言.
Programming for Everybody:Python.
DataCamp: Learn R with R tutorials and coding challenges:R.
• 机器学习方法理论.
《机器学习》：周志华
Statistical Learning(R)
machine learning：强烈推荐，Andrew Ng老师的课程
机器学习技术：林轩田老师的课相对更有深度一些，把作业做完会对提升对机器学习的认识。
自然语言处理:斯坦福大学课程
• 日常阅读的资源
@爱可可-爱生活的微博.
机器学习日报的邮件订阅等。
进阶资源.
• 有源代码的教程.
scikit-learn中各个算法的例子
《机器学习实战》有中文版，并附有python源代码。
《The Elements of Statistical Learning (豆瓣)》这本书有对应的中文版：《统计学习基础 (豆瓣)》。书中配有R包。可以参照着代码学习算法。网盘中有中文版。
《Natural Language Processing with Python (豆瓣)》 NLP 经典，其实主要是讲 python的NLTK 这个包。网盘中有中文版。
《Neural Networks and Deep Learning》 Michael Nielsen的神经网络教材，浅显易懂。国内有部分翻译，不全，建议直接看原版。
• 图书与教材.
《数学之美》：入门读起来很不错。
《统计学习方法 (豆瓣) 》：李航经典教材。
《Pattern Recognition And Machine Learning (豆瓣) 》：经典中教材。
《统计自然语言处理》自然语言处理经典教材
《Applied predictive modeling》：英文版，注重工程实践的机器学习教材
《UFLDL教程》：神经网络经典教材
《deeplearningbook》:深度学习经典教材。
• 工具书.
《SciPy and NumPy (豆瓣) 》
《Python for Data Analysis (豆瓣) 》作者是Pandas这个包的作者.
• 其他网络资料
机器学习(Machine Learning)与深度学习(Deep Learning)资料汇总（http://blog.csdn.net/zhongwen7710/article/details/45331915）.

机器学习入门到进阶学习路线相关推荐

3D视觉从入门到进阶学习路线
01 什么是知识星球? 知识星球是一个高度活跃的社区平台,在这里你可以和相同研究方向的小伙伴一起探讨科研工作难题.交流最新领域进展.分享paper资料.发布高质量的求职就业信息,当然还可以侃侃而谈,吐 ...
机器学习入门到进阶学习路线图
作者: 龙心尘 && 寒小阳原文:http://blog.csdn.net/longxinchen_ml/article/details/50749614 http://blog.c ...
【推荐】机器学习入门到进阶学习路线图
作者: 龙心尘 && 寒小阳原文:http://blog.csdn.net/longxinchen_ml/article/details/50749614 http://blog.c ...
springboot 实现机器学习_机器学习入门之SpringBoot学习历程
本文主要向大家介绍了机器学习入门之SpringBoot学习历程,通过具体的内容向大家展现,希望对大家学习机器学习入门有所帮助. 经过同事介绍,听说了SpringBoot框架,并且亲身感受过这个框架的优 ...
Java 从入门到高级学习路线
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. Java 从入门到高级学习路线 <一>1.Jvm 部分 Jvm 内存模型.Jvm 内存结 ...
一个python下从入门到进阶学习人工智能的网站
转一个利用python从入门到进阶学习人工智能的网站:https://www.captainai.net/st/ 门槛低,比较通俗易懂. 先粘一下前言部分: 大家好!欢迎来到我的网站! 人工智能被认为 ...
人工智能、机器学习、深度学习从入门到进阶学习资料整理
最近整理了下在这里分享给大家,欢迎大家点赞收藏. 学习社区神力AI(MANA):国内最大的AI代码平台. Learn AI:一个AI学习交流中心. AI研习社:一个专注于AI开发者和学术青年求知求职 ...
网络工程师/计算机网络知识如何入门，以及学习路线?
"网络工程师如何选就业方向?" "网络工程师前景如何?" "身为网络工程师,如何选择适合自己的岗位?" "网络工程师需要进行职业规 ...
python进阶学习路线（全）
学习路线: 1.硬件: 1.操作系统简介 2.第二篇:操作系统 2.linux基础: 1.初始Linux 2.基本使用 3.Linux进阶 3.python基础 : 1.python基础大纲 2.变量 ...

机器学习入门到进阶学习路线

机器学习入门到进阶学习路线

1. 定义

2. 机器学习关注问题

3. 入门方法与学习路径

4. 工作流程如下:

5. 自主学习能力

6. 相关资源推荐

机器学习入门到进阶学习路线相关推荐

最新文章

热门文章