机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY5-神经网络

5.1 神经元模型

神经网络是由具有适应性的简单单元组成的广泛并联互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应.
神经网络中最基本的成分是神经元模型.在生物神经网络中,每个神经元与其它神经元相连,当它兴奋时,就会向相连的神经元发送化学物质.

M-P神经元模型

M-P神经元模型
在M-P神经元模型中,神经元接收到来自n个其它神经元传递过来的输入信号,这些输入信号通过带权重的连接进行传递,神经元接收到的总输入将于神经元的阈值进行比较,然后通过激活函数(activation function)处理以产生神经元的输出.
Sigmoid激活函数
常用的激活函数为sigmoid,典型的sigmoid函数如下图所示.

5.2 感知机和多层网络
感知机由两层神经元组成,如下图所示,输入层接收外界输入信号后传递给输出层,输出层是M-P神经元,亦称"阈值逻辑单元".

需注意的是,感知机只有输出层神经元进行激活函数处理,即只拥有一层功能神经单元,其学习能力非常有限.
要解决非现象可分问题,需考虑使用多层功能神经元.一般的,常见的神经网络是下图所示的层级结构,每层神经元与下一层神经元全互联,神经元之间不存在同层连接,也不存在跨层连接.这样的神经网络通常称为多层前馈神经网络(multi-layer feedforward neural networks).

5.3 误差传播算法
多层网络的学习能力比单层感知机强得多.欲训练多层网络,需要更强大的学习算法.误差逆传播(error BackPropagation,简称BP)算法就是其中最杰出的代表.现实任务中使用神经网络时,大多是在使用BP算法进行训练.通常说"BP网络"时,一般是指用BP算法训练的多层前馈神经网络.

BP算法工作流程
对每个训练样例,BP算法执行以下操作.

先将输入示例提供给输入层神经元,然后逐层将信号前传,直到产生输出层的结果
然后计算输出层的误差,再将误差逆向传播至隐层神经单元
最后根据隐层神经元的误差来对连接权和阈值进行调整
该迭代过程循环进行,直到达到某些停止条件为止

在(0,1)范围内随机初始化网络中所有连接权和阈值
repeat:for all(x_k,y_k) in D do根据当前参数和公式0计算当前样本的输出y^k;计算输出层神经元的梯度g_j;计算隐层神经元的梯度e_h;更新连接权w_hj,v_ih及阈值theta_j,gamma_hend for
until 达到停止条件(训练误差达到设定值或训练次数达到设定值)

5.4 全局最小和局部最小
如果误差函数具有多个局部极小,则不能保证找到的解是全局最小,我们称参数寻优陷入了局部极小.
在现实任务中,人们常采用以下策略来试图跳出局部极小,从而进一步接近全局最小.

以多组不同参数值初始化多个神经网络,按标准方法训练后,取其中误差最小的解作为最终参数.这相当于同多个不同的初始点开始搜索,这样就可能陷入不同的局部极小,从中选择有可能获得更接近全局最小的结果.
使用"模拟退火"技术.模拟退火在每一步都以一定的概率接受比当前解更差的结果,从而有助于跳出局部极小.在每步迭代过程中,接受次优解的概率要随着时间的推移而逐渐降低,从而保证算法稳定.
使用随机梯度下降.与标准梯度下降法精确计算梯度不同,随机梯度下降法在计算梯度时加入了随机因素.于是,即便陷入局部极小点,它计算出的梯度仍可能不为零,这样就有机会跳出局部极小继续搜索.
5.5 其他常见的神经网络
有RAF，ART，SOM，级联神经网络，Elman网络，就不一一详细讲解了哈
5.6 深度学习
理论上来说，参数越多的模型复杂度越高，”容量“（capacity）越大，这意味着他能完成更复杂的学习任务，但一般情况下，复杂模型的训练效率低，易陷入过拟合，因此难以受到人们青睐。而随着云计算，大数据时代的到来，计算能力的大福提高可缓解训练低效性，训练数据的大幅度增加则可降低过拟合风险，因此，以深度学习（DL）为代表的复杂模型开始受到人们的关注。
典型的深度学习模型就是很深层的神经网络，显然，对神经网络模型，提高容量的一个简单方法就是增加隐层的数目。

今天就更新到这哈，感觉像是期刊哈哈，就是质量不高！！

机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY5-神经网络相关推荐

机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY11-特征选择和稀疏学习
特征工程是机器学习中非常重要的一个环节,它的好坏直接影响了机器学习效果的优劣.而特征工程里非常关键的一步就是特征选择. 如果把机器学习比作是一个厨师做菜的过程,那么数据就是原材料(菜),模型可以理解为 ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY1-绪论
我太喜欢这本书了 ,因为封面很好看 .PS:划重点是教科书!需要一定基础,京东正版有售~ 1.1 引言机器学习:例如我们人吃过,看过很多西瓜, 所以基于色泽.根蒂,敲声这几个特征我们就可以做出相当好 ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY16-强化学习
文章目录 16.1 任务与奖赏 RL与有监督学习.无监督学习的比较形象举例 16.2 K-摇臂赌博机 ε-贪心算法 16.3 有模型学习 16.4 免模型学习 16.5 值函数近似 16.6 模仿学 ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY4-决策树
4.1 基本流程决策树(decision)是一类常见的机器学习算法,以二分类任务为例,我们希望从给定训练数据集学得一个模型用以对新示例进行分类,这个把样本分类的任务,可看做对"当前样本属于 ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY15-规则学习
15.1.规则学习 "规则学习" (rule learning)是从训练数据中学习出一组能用于对未见示例进行判别的规则. 形式上一般为: 式子中,右边的部分称为规则体(Body), ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY13-半监督学习
13.1 未标记样本先说两个概念: 1)有标记样本(Labeled) 训练样本集Dl={(x1,y1), (x2,y2),-, (xl,yl)},这l个样本的类别标记已知. 2)未标记样本(unla ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY10-降维和度量学习
10.1 k近邻学习 k近邻(k-Nearest Neighbor,简称kNN)学习是一种常用的监督学习方法. 二.近邻分类算法 1.近邻分类算法的概念在近邻分类算法中,对于预测的数据,将其与训练样 ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY6-支持向量机
今日份打卡~ 一定要读到最后啊,越往后越干货.@!@ 6.1 间隔与支持向量机 6.2 对偶问题 SMO Platt的SMO算法是将大优化问题分解为许多小优化问题求解的,并且对它们顺序求解的结果与将它 ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY3-线性模型
3.1 基本形式一般用向量形式写成本文介绍几种经典的线性模型,看我们先从回归任务开始,然后讨论二分类和多分类任务. 3.2 线性回归线性回归是一种监督学习下的线性模型,线性回归试图从给定数据集中 ...
机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY2-模型评估与选择
2.1经验误差与过拟合学习器在训练集上的误差称为"训练误差"(training error)或"经验误差". 当学习器把训练样本学得"太好" ...

机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY5-神经网络

机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY5-神经网络相关推荐

最新文章

热门文章

机器学习（MACHINE LEARNING） 【周志华版-”西瓜书“-笔记】 DAY5-神经网络

机器学习（MACHINE LEARNING） 【周志华版-”西瓜书“-笔记】 DAY5-神经网络相关推荐

最新文章

热门文章

机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY5-神经网络

机器学习（MACHINE LEARNING）【周志华版-”西瓜书“-笔记】 DAY5-神经网络相关推荐