Self Organizing Maps (SOM): 一种基于神经网络的聚类算法

转自：https://www.cnblogs.com/sylvanas2012/p/5117056.html

自组织映射神经网络，即Self Organizing Maps (SOM)，可以对数据进行无监督学习聚类。它的思想很简单，本质上是一种只有输入层--隐藏层的神经网络。隐藏层中的一个节点代表一个需要聚成的类。训练时采用“竞争学习”的方式，每个输入的样例在隐藏层中找到一个和它最匹配的节点，称为它的激活节点，也叫“winning neuron”。紧接着用随机梯度下降法更新激活节点的参数。同时，和激活节点临近的点也根据它们距离激活节点的远近而适当地更新参数。

所以，SOM的一个特点是，隐藏层的节点是有拓扑关系的。这个拓扑关系需要我们确定，如果想要一维的模型，那么隐藏节点依次连成一条线；如果想要二维的拓扑关系，那么就行成一个平面，如下图所示（也叫Kohonen Network）：

既然隐藏层是有拓扑关系的，所以我们也可以说，SOM可以把任意维度的输入离散化到一维或者二维(更高维度的不常见)的离散空间上。 Computation layer里面的节点与Input layer的节点是全连接的。

拓扑关系确定后，开始计算过程，大体分成几个部分：

1）初始化：每个节点随机初始化自己的参数。每个节点的参数个数与Input的维度相同。

2）对于每一个输入数据，找到与它最相配的节点。假设输入时D维的，即 X={x_i, i=1,...,D}，那么判别函数可以为欧几里得距离：

3) 找到激活节点I(x)之后，我们也希望更新和它临近的节点。令S_ij表示节点i和j之间的距离，对于I(x)临近的节点，分配给它们一个更新权重：

简单地说，临近的节点根据距离的远近，更新程度要打折扣。

4）接着就是更新节点的参数了。按照梯度下降法更新：

迭代，直到收敛。

与K-Means的比较

同样是无监督的聚类方法，SOM与K-Means有什么不同呢？

（1）K-Means需要事先定下类的个数，也就是K的值。 SOM则不用，隐藏层中的某些节点可以没有任何输入数据属于它。所以，K-Means受初始化的影响要比较大。

（2）K-means为每个输入数据找到一个最相似的类后，只更新这个类的参数。SOM则会更新临近的节点。所以K-mean受noise data的影响比较大，SOM的准确性可能会比k-means低（因为也更新了临近节点）。

（3） SOM的可视化比较好。优雅的拓扑关系图。

参考文献：http://www.cs.bham.ac.uk/~jxb/NN/l16.pdf

转载于:https://www.cnblogs.com/bonelee/p/8191539.html

Self Organizing Maps (SOM): 一种基于神经网络的聚类算法相关推荐

一种基于邻域的聚类算法
基本概念: 给定数据集D = {d1,d2 ,.. ,dn},p和q是D中的两个任意对象.我们使用欧氏距离来评估p和q之间的距离,表示为 dist(p,q). 我们将首先给出k-最近邻集合和反向的定义 ...
一种基于神经网络的由PPG信号估计连续血压算法【翻译】
一种基于神经网络的由PPG信号估计连续血压算法摘要由光体积描记(PPG)信号得到的血压和脉搏持续时间之间存在关系,但并不总是线性的.为了从PPG信号中估计血压,本文采用了人工神经网络(ann).训 ...
一种基于暗通道先验算法的图像去雾技术研究
目录一.绪论二.雾霭图像模型与暗通道先验三.透射率估计四.大气光值估计五.实例分析参考文献一.绪论图像去雾技术,是由何凯明.孙健等人在CVPR2009提出来的,并获得当年CVPR最佳论 ...
Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法。
Paxos算法是莱斯利·兰伯特(Leslie Lamport)1990年提出的一种基于消息传递的一致性算法.Paxos算法解决的问题是一个分布式系统如何就某个值(决议)达成一致.在工程实践意义上来说, ...
DBSCAN聚类︱scikit-learn中一种基于密度的聚类方式
文章目录 @[toc] 一.DBSCAN聚类概述 1.伪代码 2.优点: 3.缺点: 4.与其他聚类算法比较二.sklearn中的DBSCAN聚类算法 1.主要函数介绍: 最重要的两个参数: 其他主 ...
DL之BP：FFNN(前馈神经网络)结构与BP(一种训练神经网络的方法)算法的简介、训练神经网络的五大方法(RLS/GA/SA/PSO/BP)、FFNNLM对比BP之详细攻略
DL之BP:FFNN(前馈神经网络)结构与BP(一种训练神经网络的方法)算法的简介.训练神经网络的五大方法(RLS/GA/SA/PSO/BP).FFNNLM对比BP之详细攻略目录 FFNN(前馈神经 ...
基于网格的聚类算法STING
基于网格的聚类算法STING STING方法简介 ① 全称 : STING , Statistical Information Grid , 统计信息网格 , 是一种多分辨率聚类技术 ; ② 划分方 ...
《MATLAB 神经网络43个案例分析》：第34章广义神经网络的聚类算法——网络入侵聚类
<MATLAB 神经网络43个案例分析>:第34章广义神经网络的聚类算法--网络入侵聚类 1. 前言 2. MATLAB 仿真示例 3. 小结 1. 前言 <MATLAB 神经网络 ...
机器学习-无监督学习-聚类：聚类方法（二）--- 基于密度的聚类算法【DBSCAN文本聚类算法，密度最大值文本聚类算法】
密度聚类方法的指导思想是,只要样本点的密度大于某阀值,则将该样本添加到最近的簇中. 基于密度的聚类算法假设聚类结构能够通过样本分布的紧密程度确定,以数据集在空间分布上的稠密程度为依据进行聚类,即只要一 ...

Self Organizing Maps (SOM): 一种基于神经网络的聚类算法

Self Organizing Maps (SOM): 一种基于神经网络的聚类算法相关推荐

最新文章

热门文章