极限学习机 Extreme Learning Machines 介绍

什么是极限学习机？

极限学习机（ELM, Extreme Learning Machines）是一种前馈神经网络，最早由新加坡南洋理工大学黄广斌教授于2006年提出。其发表的文章中对于极限学习机的描述如下：

该算法具有良好的泛化性能以及极快的学习能力

极限学习机和标准神经网络的区别

ELM 不需要基于梯度的反向传播来调整权重，而是通过 Moore-Penrose generalized inverse来设置权值。

标准的单隐藏层神经网络结构如下：

单隐藏层神经网络

其计算过程如下：

输入值乘以权重值
加上偏置值
进行激活函数计算
对每一层重复步骤1~3
计算输出值
误差反向传播
重复步骤1~6

而 ELM 则对其进行了如下改进：去除步骤4；用一次矩阵逆运算替代步骤6；去除步骤7。

极限学习机计算过程

具体地，ELM 计算过程如下：

式中：

L 是隐藏单元的数量；
N 是训练样本的数量；

beta 是第 i 个隐藏层和输出之间的权重向量；
w 是输入和输出之间的权重向量；
g 是激活函数；
b 是偏置向量；
x 是输入向量。

极限学习机的计算过程与标准反向传播神经网络十分类似，但是隐藏层与输出之间的权重矩阵是伪逆矩阵。
将上式可以简写为：

式中：

m 是输出的数量；
H 是隐藏层输出矩阵；
T 是训练集目标矩阵；

ELM 主要相关理论

定理一：

定理二：

定理三：

了解了上述定理后，现在我们要做的是定义我们的代价函数。如果输入权重和隐层层偏差可以随机选择，那么SLFN是一个线性系统。

由于我们考虑的 ELM 是一个线性系统，那么可以设计优化函数：

由于 H 是可逆的，所以计算如下：

ELM 算法

ELM 算法主要过程有:

w_i,b_i,i=1,L 随机初始化
计算隐藏层输出 H
计算输出权重矩阵[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gJKy7Hb8-1591837856202)(p6.png)]
利用 beta 在新的数据集上进行预测 T

Python 应用案例见https://github.com/burnpiro/elm-pure

其中，基础的 ELM 算法就能够在 MNIST 数据集达到 91%以上的准确率，并且在 intel i7 7820X CPU 平台上通过 3s 就能够计算完成。

性能对比

首次提出 ELM 的论文中，于2006年通过 Pentium 4 1.9GHz CPU 用 ELM 方法对不同的数据集进行了计算，结果如下：

很明显梯度下降比矩阵反转需要更长的训练时间。此结果表中最重要的信息是准确性和节点数。在前两个数据集中，可以看到作者使用了不同大小的BP来获得与ELM相同的结果。在第一种情况下，BP网络的大小是原来的5倍，在第二种情况下，BP网络的大小是原来的2倍。也说明了 ELM 方法在逼近数据集时有很高的精确性。

本文也对两个具有代表性的数据集(CIFAR-10, MNIST)进行了分析，结果如下：

总结

ELM 算法虽然没有传统神经网络的准确度高，但是可以被用于需要即时计算的场景中。