极限学习机(Extreme Learning Machine)ELM

二、ELM
1、算法介绍及功能
极限学习机(Extreme Learning Machine) ELM是一种针对单隐含层前馈神经网络(Single-hiddenLayerFeedforwardNeuralNetwork,SLFN)的神经网络的算法。最大的特点是输入权值和隐含节点的偏置都是在给定范围内随机生成的，被证实学习效率高且泛化能力强。训练时的主要目的在于输出层的权值求解。
ELM具有学习效率高和泛化能力强的优点，被广泛应用于分类、回归、聚类、特征学习等问题中。
2、算法结构及原理
ELM是一种新型的快速学习算法，对于单隐层神经网络，ELM 可以随机初始化输入权重和偏置并得到相应的输出权重。

（1）对于一个单隐层神经网络(见Figure1),假设有N个任意的样本，其中，,。对于一个有L个隐层节点的单隐层神经网络可以表示为
其中，为激活函数，为输入权重，为输出权重，是第i个隐层单元的偏置。表示和的内积。
（2）单隐层神经网络学习的目标是使得输出的误差最小，可以表示为:
即存在，和，使得
(3)可以矩阵表示为
其中，H是隐层节点的输出，B为输出权重，T为期望输出

(4)为了能够训练单隐层神经网络，我们希望得到，和，使得

其中，i=1,…,L，这等价于最小化损失函数
在ELM算法中, 一旦输入权重和隐层的偏置被随机确定，隐层的输出矩阵H就被唯一确定。训练单隐层神经网络可以转化为求解一个线性系统。并且输出权重可以被确定
3、计算步骤
ELM算法的特点是其学习过程不需要调整隐含层节点参数，输入层至隐含层的特征映射可以是随机的或人为给定的。由于仅需求解输出权重，ELM在本质上是一个线性参数模式（linear-in-the-parameter model），其学习过程易于在全局极小值收敛。

对于给定N组训练数据，使用ELM对包含L个隐含层和M个输出层的SLFN进行学习有如下步骤：
（1）对ELM的输入权值向量和隐含层节点进行随机赋值，完成初始化。
（2）计算隐含层输出矩阵H
（3）计算输出权值矩阵
即完成了ELM神经网络的建立和初始化。

极限学习机(Extreme Learning Machine)ELM相关推荐

MATLAB机器学习系列-8 极限学习机(Extreme Learning Machine, ELM)原理及其代码实现
极限学习机(Extreme Learning Machine, ELM) 极限学习机网络结构和BP网络结构类似. 和BP神经网络不同点: 极限学习机输入层到隐含层的权重W是可以随意指定的.BP神经网络 ...
极限学习机(Extreme Learning Machine, ELM)的训练与预测matlab仿真
目录 1.算法概述 2.仿真效果 3.MATLAB仿真源码 1.算法概述极限学习机(ELM)是当前一类非常热门的机器学习算法,被用来训练单隐层前馈神经网络(SLFN
极限学习机(Extreme Learning Machine)概述
摘要当今研究领域的一项事实就是,前向神经网络(feed-forward neural networks)的训练速度比人们所期望的速度要慢很多.并且,在过去的几十年中,前向神经网络在应用领域存在着很大 ...
第七课极限学习机（ Extreme Learning Machine, ELM）
背景前向神经网络的学习速度通常远低于要求,并且在过去几十年里一直是其应用的一个主要瓶颈.背后的两个关键原因可能是: 1)基于慢梯度的学习算法被广泛应用于神经网络的训练. 2)利用这种学习算法对网络的 ...
极限学习机 Extreme Learning Machines 介绍
什么是极限学习机? 极限学习机(ELM, Extreme Learning Machines)是一种前馈神经网络,最早由新加坡南洋理工大学黄广斌教授于2006年提出.其发表的文章中对于极限学习机的描述 ...
【UWB】ELM，Extreme Learning Machine 极限学习机
文章目录例子 1 例子 2 Ref. 例子 1 % 任务2: ELM 网络 % Date: 2021-10-15 % Author: Zhao-Jichao clear clc%% 训练 % 导入数 ...
极限学习机（Extreme Learning Machine）（小白之路）
优秀的博客已经很多了,在这里我粘贴一些对我有帮助的博客,感谢大佬们!(既有原理也有一些实现[python 和 matlab]): ①极限学习机(Extreme Learning Machine, ...
2Speech Emotion Recognition Using Deep Neural Network and Extreme Learning Machine
文章目录前言一.文章内容二.文章总结前言原文地址-2014年一.文章内容不同与当时普遍使用统计方法研究感情识别,本文章主要是提出了一种使用DNN网络进行特征提取的办法,采用的模型结构如下 ...
极限学习机Python开源库——elm【内附案例源码】

极限学习机(Extreme Learning Machine)ELM

极限学习机(Extreme Learning Machine)ELM相关推荐

最新文章

热门文章