监督学习算法的发展史和它们之间的关系：从文氏图到回归、决策树、支持向量机和人工神经网络

在这篇文章中，我将解释有监督的机器学习技术如何相互关联，将简单模型嵌套到更复杂的模型中，这些模型本身嵌入到更复杂的算法中。接下来的内容将不仅仅是一份模型备用表，也不仅仅是一份监督方法的年表，它将用文字、方程和图表来解释主要机器学习技术家族之间的关系，以及它们在偏差-方差权衡难题中的相对位置。

嵌套模型示例：错误概率密度 < 线性回归 < 逻辑回归 < 前馈神经网络 < 卷积神经网络

从文氏图（Venn Diagram）到最简单的机器学习模型

回顾机器学习技术的历史我们首先看到的就是概率论。概率论可以从 Kolmogorov 公理或简单地从文氏图中导出。这在 McDowell 的“Cracking the Coding Interview”中得到了最好的解释。我们有两个事件 A 和 B。两个圆圈的面积代表它们的概率。重叠区域是事件{A and B}。我们直接得到 P(A and B) = P(A)×P(B given A) 因为我们需要事件A和事件B同时发生(假设A已经发生)。 A 和 B 是可以互换的，所以我们也有 P(A and B) = P(B)×P(A given B)。我们通过结合这两种关系得到贝叶斯定理：P(A|B) = P(A)×P(B|A) / P(B)。这就是朴素贝叶斯分类器最基础的理论。

现在，事件 {A or B} 的概率是多少？在文氏图上，我们观察到它是 A 的面积和 B 的面积之和。然而为了避免重叠面积的重复计算，我们有 P(A or B) = P(A) + P (B)-P(A and B)。正如我们看到，AND 和 OR 这两个逻辑关系导致二项式分布，然后是正态分布，这就是线性回归的基础。

让我们深入研究一下。二项分布的形式为

也就是在n个独立的伯努利试验中恰好有k次成功的概率

由杨辉三角描述（见上图）。这看起来很复杂。然而，它可以很容易地从文氏图推导出来。独立伯努利试验意味着事件 A 和 B 是独立的，因此 B 不以 A 为条件，A 也不以 B 为条件。从上面可以得出 P(A and B) = P(A)×P(B)，或在本实验中，P(A k times and not A (n-k) times) 等于 p^k* (1-p)^(nk)（因为 A 和非 A 的总和必须为 1）。如果我们拿一枚硬币，有 k 个正面（事件 A）和 n-k 个反面（事件 B，即不是 A），有不同的方法来实现这样的事件，用二项式系数表示。例如，在 n = 3 次试验中取得 k = 2 次成功，我们可能有 {H, H, T}, {H, T, H} 或 {T, H, H}。所有这些路径都是互斥的，给出 P(A’ or B’) = P(A’) + P(B’)，或 3 * p^k * (1-p)^(nk)，这就是二项分布!如果n取足够大的时候，就是正态分布。

是具有均值 np 和方差 np(1-p) 的二项式分布的一个很好的近似值。

在n非常大，p非常小时的二项分布(离散)和正态分布(连续)

这就是机器学习和统计学的主力是线性回归

为了训练这个模型，要最小化的误差函数是残差平方和(观测值和预测值之间的差)。正是高斯在19世纪早期成功地将最小二乘方法与概率原理和正态分布(带有残差的高斯误差)联系起来。在线性回归的概率公式中，正态分布和线性回归之间的联系变得清晰起来:

注意我们是如何仅从一个简单的文氏图就达到这个阶段的！

带有噪声正态分布的线性回归。

让我们回到概率论来查看另一个分支。香农在 1948 年将熵 H 定义为 -p_i×log_2[p_i] 的总和，这是一种纯度度量。取两个类 y = (

监督学习算法的发展史和它们之间的关系：从文氏图到回归、决策树、支持向量机和人工神经网络相关推荐

算法时间复杂度与问题规模之间的关系
[知识点] 算法竞赛中,所设计的算法都有时空限制. 为了做到心中有数,必须预判所设计的算法在给定数据规模的前提下,是否符合要求. 为了达到此目的,必须熟悉算法时间复杂度与问题规模之间的关系. 常见的对 ...
数据结构与算法--9.常见时间复杂度及其之间的关系
文章目录 1.常见时间复杂度 2.常见时间复杂度之间的关系 1.常见时间复杂度 2.常见时间复杂度之间的关系
商城前端模板_如何理解微信小程序和微商城,微信公众号以及APP之间的关系？一张图看懂了！...
老张的一位粉丝,花了几天时间把知乎里面分享的一些关于微信小程序,微信商城,微信公众号,以及APP的相关介绍全看完了. 然后用他自己的话描述了微信小程序和微商城,微信公众号以及APP之间的关系,如下图所 ...
人工神经网络的算法原理,深度神经网络工作原理
AI是否可以被精神分析?人工智能运行的基础原理到底是什么? AI不可以被精神分析,人工智能的工作原理是,计算机使用传感器(或人工输入),将收集有关一个场景的事实.计算机将把这些信息与已经存储的信息进行 ...
简述人工神经网络的定义,简述神经网络算法
1.人工智能十大算法人工智能十大算法如下线性回归(Linear Regression)可能是最流行的机器学习算法.线性回归就是要找一条直线,并且让这条直线尽可能地拟合散点图中的数据点.它试图通过将 ...
决策树与随机森林之间的关系
决策树与随机森林之间的关系在此之前需要先熟悉决策树是怎么一回事. 了解之后,再看下面的内容就非常轻松了. 决策树是一种有监督的机器学习算法,该方法可以用于解决分类和回归问题.决策树可以简单地理解为达 ...
UML类图简介及类与类之间的关系
UML(Unified Modeling Language,统一建模语言)建模是面向对象开发设计方法中的第一步,用UML来表达设计模式不仅方便了开发人员的交流,而且更加清晰.准确.UML定义了5类10 ...
python类与类的关系_python 类与类之间的关系
一.依赖关系(紧密程度最低) (1)简单的定义:就是方法中传递一个对象.此时类与类之间存在依赖关系,此关系比较低. (2)实例植物大战僵尸简易版题目要求:创建一个植物,创建一个僵尸 1.植物:名字. ...
机器学习理论入门：第二章经典监督学习算法-决策树
第二章经典监督学习算法-决策树一.决策树总体概览概念:是在已知各种情况发生概率的基础上,通过构成决策树来求取净现值的期望值大于等于零的概率,评价项目风险,判断其可行性的决策分析方法,是直观运用概 ...
小白学数据：教你用Python实现简单监督学习算法
转载自小白学数据:教你用Python实现简单监督学习算法今天,文摘菌想谈谈监督学习. 监督学习作为运用最广泛的机器学习方法,一直以来都是从数据挖掘信息的重要手段.即便是在无监督学习兴起的近日,监督 ...

监督学习算法的发展史和它们之间的关系：从文氏图到回归、决策树、支持向量机和人工神经网络

从文氏图（Venn Diagram）到最简单的机器学习模型

监督学习算法的发展史和它们之间的关系：从文氏图到回归、决策树、支持向量机和人工神经网络相关推荐

最新文章

热门文章