加速神经网络收敛的萃取精馏权重法

如果把神经网络的收敛过程理解成是提取纯度99%的权重，可以用化学上的分级萃取精馏的办法重新改造神经网络的收敛过程。

比如首先从原料提取纯度30%的馏分，也就是准确率达到30%的权重组合，这时把这组馏分保存下来，结束程序，然后用这组纯度30%的馏分初始化权重，重新萃取纯度40%馏分。比如迭代100次，如果达到就把纯度40%的馏分保存下来再次初始化权重，重新从40%的馏分开始。如果迭代100次达不到40%将产生最大值的权重组合保存下来，用这组权重再次循环。

这样由30%-40%-50%逐级提升，直到90%这时可以减小梯度进入精馏流程，比如可以一次提升1%，直到达到要求。

用这种方法制作了一个784*15*5的网络用来区分mnist的0,1,2,3,4，用从0开始的方法做了5次，最大的一次在迭代到200批样品的时候达到0.82，而用逐级萃取的方法同样的迭代次数已经可以得到准确率超过的90%的样本。粗略的统计从0开始的方法成功率低于20%，而逐级萃取的方法至少可以节省80%的收敛时间。

逐级萃取精馏方法的实验数据

学习率=0.1，

batch=300，放回取样

激活函数是sigmoid，没有偏置，每批样品都测试准确率

加速神经网络收敛的萃取精馏权重法相关推荐

萃取精馏实验装置,特殊精馏过程与液液萃取分离QY-HGGY39
1.1 分离过程的地位和作用 1.1.1 分离过程的重要性 (1)分离过程定义将混合物分成组成互不相同的两种或几种产品的操作. 分离装置的费用占总投资的50% - 90%. 乙烯连续水合生产乙醇:对 ...
aspen二元体系共沸组分_乙醇—水萃取精馏实验教学的改进及Aspen Plus软件的应用...
王俊+冷一欣+韶晖摘要:萃取精馏是化工原理实验教学中重要的综合性实验.目前萃取精馏实验存在一些问题,针对这些问题提出了改进建议.通过改进,在教学过程中可以加强学生对萃取精馏这一复杂工程问题的理解,提 ...
从频率角度理解为什么深度可以加速神经网络的训练
©PaperWeekly 原创 · 作者|周瀚旭.许志钦单位|上海交通大学研究方向|深度学习理论深度加速训练的效应近些年来,随着深度学习的发展,其已经在图像.语音.自然语言处理等各个不同的领域 ...
神经网络训练怎么看收敛,神经网络收敛的定义是
1.如何用显著性检测来解释卷积神经网络的收敛性? 显著性是指模型在不同参数设置情况下对分类效果的综合评价,而收敛是指模型在训练过程中梯度变化趋于平缓的状态,也就是说训练完成了.这两个概念完全不搭界. ...
机器学习笔记 - 加速神经网络训练的 7 个技巧
更快地训练神经网络是深度学习的重要因素之一.我们通常发现神经网络的这些困难在于其复杂的架构和使用的大量参数.随着数据量.网络和权重的增加,模型的训练时间也会增加,这对建模者和从业者来说都是不利的.在本 ...
[Python人工智能] 七.加速神经网络、激励函数和过拟合
从本系列文章开始,作者正式开始研究Python深度学习.神经网络及人工智能相关知识.前六篇文章讲解了神经网络基础概念.Theano库的安装过程及基础用法.theano实现回归神经网络.theano实现 ...
想用FPGA加速神经网络，这两个开源项目你必须要了解
优秀的 Verilog/FPGA开源项目介绍(十五)- 加速神经网络的必备开源项目之前介绍的项目<优秀的 Verilog/FPGA开源项目介绍(十四)- 使用FPGA实现LeNet-5 深度神 ...
神经网络学习4【误差传递与权重更新】
1. 误差反馈 1.1 误差反馈校正权重矩阵可以理解,输出和误差都是多个节点共同作用的结果,那么该如何更新链接权重? 思考一下,得到误差后,该怎么分配?平均分的话是否会有失公平?毕竟我们在之前的学习 ...
加速神经网络训练方法及不同Optimizer优化器性能比较
本篇博客主要介绍几种加速神经网络训练的方法. 我们知道,在训练样本非常多的情况下,如果一次性把所有的样本送入神经网络,每迭代一次更新网络参数,这样的效率是很低的.为什么?因为梯度下降法参数更新的公式一 ...

加速神经网络收敛的萃取精馏权重法

加速神经网络收敛的萃取精馏权重法相关推荐

最新文章

热门文章