极限学习机原理（含公式推导透彻）

写在前面：本文主要介绍elm极限学习机的原理及公式推导

一.传统的前馈神经网络结构

1.前馈神经网络结构

传统的单隐层前馈神经网络，输入层n个神经元、隐含层L个、输出层m个神经元，如图1。
对于该种神经网络，有3个重要参数决定了该网络输入到输出的计算过程。你可以理解为一个函数，其中关键的参数就是这三个。分别是输入层权值、隐含层权值、隐含层偏置。

输入层与隐含层连接权值W，比如Wji表示输入层第i个，与隐含层第j个神经元的连接权值。

隐含层权值矩阵：隐含层与输出层之间的连接权值β，其中βjk表示隐含层第j个神经元与输出层第k个神经元之间的连接权值。

隐含层神经偏置矩阵b：为一维矩阵，代表对输出的调整。（个人理解）

2.模型如何预测结果

以分类任务为例。
设有Q个样本的训练集，输入矩阵X（特征矩阵），输出矩阵Y（分类矩阵）。

对于分类任务，Q个样本情况下，有n个特征时X为nQ矩阵。而类别矩阵为1Q矩阵。

设隐含层神经元激活函数为g(x) （我理解这个激活函数就是模拟神经细胞的工作方式）
设网络输出为T。（网络的输出，实际上就是预测的分类结果）

如上面公式，现在把矩阵T表示为tj的列向量的集合。
其中tj为：

tmj是怎么计算的呢？
将下面求和，这个被求和的数字是怎么计算出来的呢：是隐含层权值矩阵的元素与g(x)相乘，里面的x的计算方法：用行向量wi乘列向量xj再与隐含层偏置矩阵的元素相加。
见下公式自己理解：

我们继续把上面的公式简化为矩阵表示，其中w、x如下

现在把H称为：隐含层输出矩阵，也就是将上上图中g的部分表示为矩阵。

然后把T表示为矩阵乘法的形式
Hβ=T ′ ，这个 ′ 表示矩阵转置，注意这个T就是我们要的预测结果。

二.elm极限学习机

从一可知，我们了解了以上的两个权值矩阵和一个偏置矩阵，就相当于知道了该神经网络模型。
此时输入数据，就会得到预测结果。
黄广斌根据理论分析，ELM在训练之前可以随机产生w 和b，只需要确定隐含层神经元个数个数及隐含层神经元的激活函数（无限可微），即可计算出β 。
以下是他的理论依据。

1.黄广斌提出的定理

（没看懂，总之就是说w和b可以随机确定）

2.ELM算法流程

（PS：阈值就是偏置）
最重要的这个β怎么计算呢，根据Hβ=T ′ ，β=H(逆矩阵)T ′ 。
（PS：这里面H的逆矩阵是伪逆矩阵，因为H可能不是nn方阵，可能会是nm这种）

原理参考：
极限学习机
2018-3-31 ELM极限学习机–笔记

极限学习机的matlab仿真参考：
极限学习机ELM回归预测及其MATLAB代码实现
极限学习机（ Extreme Learning Machine, ELM）
极限学习机（ELM）从原理到程序实现

如果您觉得本文写的不错，欢迎点赞评论收藏！