最近在学习机器学习，看了吴恩达老师的机器学习课程，收获很多，想把课上学做的笔记结合自己的理解以及找到的一些资料综合起来做一个总结，希望能够写的通俗易懂，有所收获。大家感兴趣也可以自己去看一看吴恩达老师的课，这套课程，被公认为最好的机器学习的入门教程，下面是课程视频链接：

斯坦福大学公开课：机器学习

一、人工智能和机器学习、深度学习有什么关系

首先我们来讲讲最近特别火的人工智能、深度学习和我们的机器学习有什么关系。

人工智能（Artificial Intelligence，简称AI）、机器学习（Machine Learning，简称ML）以及深度学习（Deep Learning，简称DL）。

首先人工智能并不是一个新的术语，它已经有几十年的历史了，大约从80年代初开始，计算机科学家们开始设计可以学习和模仿人类行为的算法。人工智能是一个大概念，而机器学习则是人工智能领域的一个分支，如果说AI是一个合集，那么ML就是AI的子集。它是人工智能的核心，是使计算机具有智能的根本途径。任何通过数据训练的学习算法的相关研究都属于机器学习，包括很多已经发展多年的技术，比如线性回归（Linear Regression）、K均值（K-means，基于原型的目标函数聚类方法）、决策树（Decision Trees，运用概率分析的一种图解法）、随机森林（Random Forest，运用概率分析的一种图解法）、PCA（Principal Component Analysis，主成分分析）、SVM（Support Vector Machine，支持向量机）以及ANN（Artificial Neural Networks，人工神经网络）。

而上面的这些算法中，每种算法结构都可以生成对应的预测模型。其中人工神经网络就是深度学习的起源，每种模型都有自己的特点，在一些任务中表现不错，但在其他方面表现不佳。但总体来说，我们可以把它们分成低功耗（简单）模型和高功耗（复杂）模型。20世纪时，由于没有强大的处理能力和大量的数据，导致训练高功率模型十分困难。而现在的大数据时代，云计算得到大量可用的数据以及像GPU这样更强大的计算引擎的出现，使我们不再局限于低功耗/简单的模型。于是计算机科学家重新使用神经网络的许多层来完成人类模仿的任务。这给DNN（深度神经网络）带来了新的生机，DNN的主要区别在于，你可以将原始信号（例如RGB像素值）直接输入DNN，而不需要创建任何域特定的输入功能。通过多层神经元（这就是为什么它被称为“深度”神经网络），DNN可以“自动”通过每一层产生适当的特征，最后提供一个非常好的预测。DNN也演变成许多不同的网络拓扑结构，所以有CNN（卷积神经网络），RNN（递归神经网络），LSTM（长期短期记忆），GAN（生成敌对网络），转移学习，注意模型（attention model）所有的这些被统称为深度学习（Deep Learning）。

所以，简单来说，就是人工智能包括了机器学习，而深度学习又是机器学习的一种，包含在机器学习中。

上面这些参考了知乎上的一个回答，把链接放这里知乎：机器学习、深度学习和强化学习的关系和区别是什么？感兴趣的可以去看看，这里讲的更详细。

多说两句，现在许多人喜欢把人工智能说的天花乱坠、无所不能，好像社会变革马上就要到来，人类的命运将被改写，等着被机器“淘汰”……。但实际上，并不是这样的，再想想，这些这么说的人貌似没有一个是真正从事人工智能研究的。人工智能的核心是机器学习，机器能够学习，不是因为机器会像人一样思考，而是因为人类会像机器一样“思考”，然后再让机器模拟人的思考。其背后是算法，是模型，是高等数学、概率论、统计学，是哲学、心理学以及无数基础学科研究者的忍耐和汗水。被吹的天花乱坠的深度学习本质上就是深层的神经网络，所谓神经网络只不过是无数人类发明的算法之一，在一定程度上模拟了人类生物神经，就像人类理解了蝙蝠判别方向的原理之后发明了雷达一样，经过几十年的迭代优化，比原来更加强大。

二、机器学习的定义

机器学习有很多种定义，通常引用的英文定义是Arthur Samuel和Tom Mitchell两位教授的。

IBM的Arthur Samuel，被誉为“机器学习之父”，他对于机器学习的定义是：Field of study that fives computers the ability to learn without being explicitly programmed.

翻译过来为：在不直接针对问题进行编程的情况下，赋予计算机学习能力的一个研究领域。

全球机器学习教父、人工智能领域顶尖科学家Tom Mitchell教授，在定义机器学习时提到：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

翻译过来为：对于一个计算机程序来说，给他一个任务T和一个性能测试P，如果在经验E的影响下，P对T的测量结果得到了改进，那么就说程序从E中学习。

简单来说就是：机器学习是研究如何使用机器来模拟人类学习活动的一门学科。

三、机器学习的发展史

1950-1970，使机器具有逻辑推理能力，代表有逻辑理论家、通用问题求解程序。同时图灵提出机器学习的可能。

1970-1980，使机器具有知识，专家系统问世。同时统计学习理论奠基。

1980-1990，机器学习成为独立学科，各种技术百家争鸣。广泛研究从样例中学习（归纳学习），主流为归纳逻辑程序设计（Inductive Logic Programming， ILP）。

1990-2000，前期神经网络连接主义学习，后期统计学习（statistical learning）。

2000-今，大红大紫的深度学习（连接主义学习第二春，多层神经网络），得益于数据大了、计算能力强了。

四、机器学习的算法分类

广义来说，有三种机器学习算法：① 监督式学习，② 无监督式学习，③ 强化学习，以下分别介绍这三种方法的区别。
监督式学习
         定义：从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括线性回归分析和逻辑回归分析。
监督式学习的例子有：线性回归、决策树、随机森林、K – 近邻算法、逻辑回归等。
无监督式学习
           定义：与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有聚类。这种分析方式被广泛地用来细分客户，根据干预的方式分为不同的用户组。
无监督式学习的例子有：关联算法和 K – 均值算法。
强化学习
           定义：通过观察来学习做成如何的动作。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。这个算法训练机器进行决策。它是这样工作的：机器被放在一个能让它通过反复试错来训练自己的环境中。机器从过去的经验中进行学习，并且尝试利用了解最透彻的知识作出精确的判断。
强化学习的例子有：马尔可夫决策过程。

五、机器学习的应用领域

机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等众多领域。

写的若有错误之处，欢迎大家批评指正！

机器学习（二）：监督学习、无监督学习和强化学习

机器学习（一）：什么是机器学习相关推荐

报名 | AI Time：“ 论道自动机器学习与可解释机器学习”
深度学习在各个领域取得了骄人的成绩,基本是舍我其谁了.之前还存在如何调参.如何选架构的问题,最近随着自动机器学习(AutoML)的快速发展,Neural architecture search(NAS ...
机器学习系列16：机器学习系统设计
https://www.toutiao.com/a6700782123118232068/ 机器学习系列16:机器学习系统设计偏斜分类的误差评估举个例子,我们想训练一个模型去诊断患者是否患有癌症. ...
Apache Spark机器学习.1.7　机器学习工作流示例
1.7 机器学习工作流示例为了进一步了解学习机器学习的工作流,在这里让我们学习一些例子. 本书后续章节会研究风险建模.欺诈检测.客户视图.流失预测和产品推荐.对于诸如此类的项目,目标往往是确定某些问 ...
【机器学习】什么是机器学习？（下）
转自慧安金科:https://blog.csdn.net/hajk2017/article/details/81189409 感谢博主在搜索引擎里输入"什么是机器学习",就像打开 ...
【机器学习】什么是机器学习？（上）
转自慧安金科:https://blog.csdn.net/hajk2017/article/details/81142345 感谢博主什么是机器学习?在搜索框内输入"机器学习", ...
TensorFlow学习笔记（二）：快速理解Tutorial第一个例子-MNIST机器学习入门标签：机器学习SoftmaxTensorFlow教程 2016-08-02 22:12 3729人阅
TensorFlow学习笔记(二):快速理解Tutorial第一个例子-MNIST机器学习入门标签: 机器学习SoftmaxTensorFlow教程 2016-08-02 22:12 3729人阅读 ...
解密谷歌机器学习工程最佳实践——机器学习43条军规翻译 2017年09月19日 10:54:58 98310 本文是对Rules of Machine Learning: Best Practice
解密谷歌机器学习工程最佳实践--机器学习43条军规翻译 2017年09月19日 10:54:58 983 1 0 本文是对Rules of Machine Learning: Best Practi ...
Coursera公开课笔记: 斯坦福大学机器学习第十一课“机器学习系统设计(Machine learning system design)”
Coursera公开课笔记: 斯坦福大学机器学习第十一课"机器学习系统设计(Machine learning system design)" 斯坦福大学机器学习斯坦福大学机器学习第 ...
机器学习如何选择模型机器学习与数据挖掘区别深度学习科普
今天看到这篇文章里面提到如何选择模型,觉得非常好,单独写在这里. 更多的机器学习实战可以看这篇文章:http://www.cnblogs.com/charlesblc/p/6159187.html 另 ...
【机器学习基础】Python机器学习的神器- Scikit-learn使用说明
全文共 26745 字,106 幅图表, 预计阅读时间 67 分钟. 0 引言 Sklearn (全称 Scikit-Learn) 是基于 Python 语言的机器学习工具.它建立在 NumPy, S ...

机器学习（一）：什么是机器学习