一、聚类与EM算法

1、以聚类为例讲清楚EM

首先将EM算法应用于概率模型。
EM算法是概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量
-- 假设聚类模型的输出y=f(θ，z，x)
-- θ是模型参数，决定x的分布
-- x是输入数据，是可观察变量
-- z是隐含变量，即是类簇中心

那E步就是计算隐变量的期望：
-- 假设一个初始的模型参数θ0，代入模型中，表示出初始的z
-- 通俗一点说就是假设出θ然后估计出初始的类簇中心
-- 比如聚类的逻辑就是开始假设k个聚类中心，计算每个点离这k个聚类中心的距离，把每个点归类到最近的k个聚类中心，然后更新之前k个中心的位置

M步就是通过不断迭代更新、让隐变量期望最大化：
-- 根据估计出来的z，代入模型中，通过最大化对数似然估计函数，得到θ1

J次迭代
-- 迭代的终止条件就是看θ有没有收敛，也即是θj 和θj+1有没有变化

公式角度理解EM

二、高斯混合模型

1、高斯混合模型的假设

-- 高斯混合模型假设每个簇的数据都是符合高斯分布（又叫正态分布）的
-- 当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果。

2、高斯混合模型的核心思想

高斯混合模型的核心思想是，假设数据可以看作从多个高斯分布中生成出来的

-- 在该假设下，每个单独的分模型都是标准高斯模型，其均值μi和方差Σi是待估计的参数
-- 此外，每个分模型都还有一个参数πi，可以理解为权重或生成数据的概率。

3、高斯混合模型的数据生成过程通俗解释

可以这样理解数据的生成过程，假设一个最简单的情况，即只有两个一维标准高斯分布的分模型N(0,1)和N(5,1)，其权重分别为0.7和0.3
-- 在生成第一个数据点时，先按照权重的比例，随机选择一个分布
-- 比如选择第一个高斯分布，接着从N(0,1)中生成一个点，如−0.5，便是第一个数据点
-- 在生成第二个数据点时，随机选择到第二个高斯分布N(5,1)，生成了第二个点4.7
-- 如此循环执行，便生成出了所有的数据点。

4、高斯混合模型求解方法

直接通过最大似然估计来求解三个参数会出现的问题
-- K不是参数，K类似于K均值聚类中的K，表示类别数
-- 此问题中直接使用最大似然估计，得到的是一个复杂的非凸函数，目标函数是和的对数，难以展开和对其求偏导

-- 可以用上一节已经介绍过的EM算法框架来求解该优化问题
-- EM算法是在最大化目标函数时，先固定一个变量使整体函数变为凸优化函数(即是先随机初始化输入变量，然后求得隐变量期望，然后再不断迭代是隐变量期望最大化)，求导得到最值
-- 然后利用最优参数更新被固定的变量，进入下一个循环。

5、通俗解释高斯算法的聚类原理

也即是求出K个高斯模型，这一组高斯模型能将样本划为K类后，每个高斯模型都能很好的解释每一簇的样本分布规律

6、从原理上解释高斯算法的聚类原理

我们并不知道最佳的K个高斯分布的各自3个参数，也不知道每个数据点究竟是哪个高斯分布生成的。所以每次循环时，先固定当前的高斯分布不变，获得每个数据点由各个高斯分布生成的概率。然后固定该生成概率不变，根据数据点和生成概率，获得一个组更佳的高斯分布。循环往复，直到参数不再变化，或者变化非常小时，便得到了比较合理的一组高斯分布。

7、高斯混合模型相比K均值算法的相同点和优点

1）、相同点：
-- 都是可用于聚类的算法；
-- 都需要指定K值；
-- 都是使用EM算法来求解；
-- 都往往只能收敛于局部最优

2）、优点：
-- 可以给出一个样本属于某类的概率是多少
-- 不仅仅可以用于聚类，还可以用于概率密度的估计
-- 并且可以用于生成新的样本点。

三、自组织映射神经网络

自组织映射神经网络，也即是SOM（Self-organizing feature Map），是一类无监督学习模型，一般的用法是将高维的input数据在低维的空间进行表示，因此SOM天然是一种降维方法。
-- 降维的方式是，以获胜神经元为中心设定一个邻域半径R，该半径圈定的范围称为优胜邻域。在SOM网学习算法中，优胜邻域内的所有神经元均按其离开获胜神经元的距离远近不同程度地调整权值。优胜邻域开始定得很大，但其大小随着训练次数的增加不断收缩，最终收缩到半径为零(即是降维)。

除了降维，SOM还可以用于数据可视化，以及聚类等应用中。

1、SOM本质上只有两层，即输入层和输出层（竞争层）

在输出层中，同层的神经网络之间建立侧向连接，并可以通过权值的学习形成特定的模式。如一维线阵，二维平面和三维栅格阵等。具体节点排列为哪种模式，还需要根据之际需要去判断，比如，对于旅行路径类的问题，二维平面比较直观；对于一般的分类问题，一个输出节点即能代表一个模式类，用一维线阵就比较好。

2、竞争学习的步骤为：

（1）向量归一化
（2）寻找获胜神经元
（3）网络输出与权值调整

步骤（3）完成后回到步骤1继续训练，直到学习率衰减到0，学习率处于(0,1]，一般随着学习的进展而减小，即调整的程度越来越小，神经元（权重）趋于聚类中心。

3、如何寻找获胜神经元

对于输入的向量，将其与竞争层(输出层)中的神经元对应的权重向量进行相似性比较，最相似的就是获胜神经元

-- 即是比较输入向量和每个输出神经元的相似性，最相似的就是获胜神经元

-- 其实相似程度这不就是损失函数嘛！！！

4、权重初始化

一般有以下两种方法：

1）、一种简单易行的方法是从训练集中随机抽取m个输入样本作为初始权值
-- 因为训练集已经归一化了

2）、另一种可行的办法是先计算出全体样本的中心向量，在该中心向量基础上迭加小随机数作为权向量初始值，也可将权向量的初始位置确定在样本群中（找离中心近的点）。

5、权值调整域（优胜领域）

SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。

这种调整可用三种函数表示：
1）、墨西哥草帽函数：获胜节点有最大的权值调整量，临近的节点有稍小的调整量，离获胜节点距离越大，权值调整量越小，直到某一距离0d时，权值调整量为零；当距离再远一些时，权值调整量稍负，更远又回到零。如(b)所示
2）、大礼帽函数：它是墨西哥草帽函数的一种简化，如（c）所示。
3）、厨师帽函数：它是大礼帽函数的一种简化，如（d）所示。

6、SOM Kohonen算法

基本思想是获胜神经元对其邻近神经元的影响是由近及远，对附近神经元产生兴奋影响逐渐变为抑制。在SOM中，不仅获胜神经元要训练调整权值，它周围的神经元也要不同程度调整权向量。常见的调整方式见上图。

7、优胜领域设计原则

使领域不断缩小，这样输出平面上相邻神经元对应的权向量之间既有区别又有相当的相似性，从而保证当获胜节点对某一类模式产生最大响应时，其领域节点也能产生较大响应。领域的形状可以是正方形、六边形或者菱形。优势领域的大小用领域的半径表示，r(t)r(t)的设计目前没有一般化的数学方法，通常凭借经验来选择。下面是两种典型形式：

8、学习率的设计

学习率会影响收敛速度，可以定义一个动态的学习函数，随着迭代次数的增加而收敛。
Learn_rate(i)=maxLrate-((i+1.0)*(maxLrate-minLrate))/MaxIteration
-- 其中，maxLrate为最大学习率，minLrate为最小学习率，MaxIteration为最大迭代次数，i为当前迭代次数。

无监督学习的简单统一相关推荐

监督学习和无监督学习简单理解
文章目录前言一.监督学习定义举个例子: 二.无监督学习前言最近学习了ng教授的机器学习课程,在这里进行一个回顾与总结,也希望我的文章可帮到一些正在学习机器学习的小伙伴. 在这里,主要理解一 ...
观点 | 通往通用人工智能的路上，我们少不了无监督学习
https://mp.weixin.qq.com/s?__biz=MzI5NTIxNTg0OA==&mid=2247495266&idx=2&sn=85ea753e5cd5f7 ...
吴恩达机器学习（十一）K-means（无监督学习、聚类算法）
目录 0. 前言 1. K-means的算法流程 2. 代价函数(优化目标函数) 3. K 的选择学习完吴恩达老师机器学习课程的无监督学习,简单的做个笔记.文中部分描述属于个人消化后的理解,仅供参考 ...
常见的简单的无监督学习算法总结
本文仅对常见的无监督学习算法进行了简单讲述,其他的如自动编码器,受限玻尔兹曼机用于无监督学习,神经网络用于无监督学习等未包括.同时虽然整体上分为了聚类和降维两大类,但实际上这两类并非完全正交,很多地方 ...
Talk预告 | 斯坦福大学石佳欣：无监督学习的未来-两条路径和统一视角
本期为TechBeat人工智能社区第470期线上Talk! 北京时间1月12日(周四)20:00,斯坦福大学统计系博士后研究员--石佳欣的Talk将准时在TechBeat人工智能社区开播! 他与大家分 ...
NeurIPS 2020 ：ReID任务大幅领先，港中文开源自步对比学习框架，充分挖掘无监督学习样本...
作者丨葛艺潇来源丨https://zhuanlan.zhihu.com/p/269112325 编辑丨极市平台导语:本文介绍一篇作者发表于NeurIPS-2020的论文: <Self-pac ...
【机器学习】无监督学习
[机器学习]无监督学习 https://mp.weixin.qq.com/s/NV84o6Jd_z8evjq05n2jzA 作者:水奈樾人工智能爱好者博客专栏:http://www.cnblog ...
weka分类器怎么设置样本类别_自步对比学习: 充分挖掘无监督学习样本
本文为香港中文大学MMLab实验室博士生葛艺潇投稿. 本文介绍一篇我们发表于NeurIPS-2020的论文<Self-paced Contrastive Learning with Hybrid ...
NeurIPS 2020 | 自步对比学习：充分挖掘无监督学习样本
©作者|葛艺潇学校|香港中文大学博士生研究方向|图像检索.图像生成等本文介绍一篇我们发表于 NeurIPS-2020 的论文<Self-paced Contrastive Learning ...

无监督学习的简单统一