神经网络训练样本太少,神经网络常用训练方法

Hopfield 神经网络有哪几种训练方法

人工神经网络模型主要考虑网络连接的拓扑结构、神经元的特征、学习规则等。目前，已有近40种神经网络模型，其中有反传网络、感知器、自组织映射、Hopfield网络、波耳兹曼机、适应谐振理论等。

根据连接的拓扑结构，神经网络模型可以分为：（1）前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。

这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。反传网络是一种典型的前向网络。

（2）反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。

Hopfield网络、波耳兹曼机均属于这种类型。学习是神经网络研究的一个重要内容，它的适应性是通过学习实现的。根据环境的变化，对权值进行调整，改善系统的行为。

由Hebb提出的Hebb学习规则为神经网络的学习算法奠定了基础。Hebb规则认为学习过程最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神经元的活动而变化。

在此基础上，人们提出了各种学习规则和算法，以适应不同网络模型的需要。

有效的学习算法，使得神经网络能够通过连接权值的调整，构造客观世界的内在表示，形成具有特色的信息处理方法，信息存储和处理体现在网络的连接中。

根据学习环境不同，神经网络的学习方式可分为监督学习和非监督学习。

在监督学习中，将训练样本的数据加到网络输入端，同时将相应的期望输出与网络输出相比较，得到误差信号，以此控制权值连接强度的调整，经多次训练后收敛到一个确定的权值。

当样本情况发生变化时，经学习可以修改权值以适应新的环境。使用监督学习的神经网络模型有反传网络、感知器等。非监督学习时，事先不给定标准样本，直接将网络置于环境之中，学习阶段与工作阶段成为一体。

此时，学习规律的变化服从连接权值的演变方程。非监督学习最简单的例子是Hebb学习规则。竞争学习规则是一个更复杂的非监督学习的例子，它是根据已建立的聚类进行权值调整。

自组织映射、适应谐振理论网络等都是与竞争学习有关的典型模型。

研究神经网络的非线性动力学性质，主要采用动力学系统理论、非线性规划理论和统计理论，来分析神经网络的演化过程和吸引子的性质，探索神经网络的协同行为和集体计算功能，了解神经信息处理机制。

为了探讨神经网络在整体性和模糊性方面处理信息的可能，混沌理论的概念和方法将会发挥作用。混沌是一个相当难以精确定义的数学概念。

一般而言，“混沌”是指由确定性方程描述的动力学系统中表现出的非确定性行为，或称之为确定的随机性。

“确定性”是因为它由内在的原因而不是外来的噪声或干扰所产生，而“随机性”是指其不规则的、不能预测的行为，只可能用统计的方法描述。

混沌动力学系统的主要特征是其状态对初始条件的灵敏依赖性，混沌反映其内在的随机性。

混沌理论是指描述具有混沌行为的非线性动力学系统的基本理论、概念、方法，它把动力学系统的复杂行为理解为其自身与其在同外界进行物质、能量和信息交换过程中内在的有结构的行为，而不是外来的和偶然的行为，混沌状态是一种定态。

混沌动力学系统的定态包括：静止、平稳量、周期性、准同期性和混沌解。混沌轨线是整体上稳定与局部不稳定相结合的结果，称之为奇异吸引子。

谷歌人工智能写作项目：小发猫

SVM是如何解决小样本问题的？ 5

比如神经网络训练样本才500个但是现在隐含层节点数400个，还起不了训练，要继续增加节点数嘛！

1、神经网络算法隐含层的选取1.1构造法首先运用三种确定隐含层层数的方法得到三个隐含层层数，找到最小值和最大值，然后从最小值开始逐个验证模型预测误差，直到达到最大值。

最后选取模型误差最小的那个隐含层层数。该方法适用于双隐含层网络。1.2删除法单隐含层网络非线性映射能力较弱，相同问题，为达到预定映射关系，隐层节点要多一些，以增加网络的可调参数，故适合运用删除法。

1.3黄金分割法算法的主要思想:首先在[a,b]内寻找理想的隐含层节点数，这样就充分保证了网络的逼近能力和泛化能力。

为满足高精度逼近的要求，再按照黄金分割原理拓展搜索区间，即得到区间[b,c](其中b=0.619*(c-a)+a)，在区间[b,c]中搜索最优，则得到逼近能力更强的隐含层节点数，在实际应用根据要求，从中选取其一即可。

BP算法中,权值和阈值是每训练一次，调整一次。逐步试验得到隐层节点数就是先设置一个初始值，然后在这个值的基础上逐渐增加，比较每次网络的预测性能，选择性能最好的对应的节点数作为隐含层神经元节点数。

rbf神经网络的训练样本要多大

因课题而异。1、样本最关键在于正确性和准确性。你所选择的样本首先要能正确反映该系统过程的内在规律。

我们从生产现场采得的样本数据中有不少可能是坏样本，例如由于测量仪器故障导致测量数据误差较大等，这样的样本会干扰你的神经网络训练。

通常我们认为坏样本只是个别现象，所以我们希望通过尽可能大的样本规模来抵抗坏样本造成的负面影响。2、其次是样本数据分布的均衡性。你所选择的样本最好能涉及到该系统过程可能发生的各种情况。

例如某化工生产中某反应炉的温度主要分布在350度—400度，且出现在380度的情况较多，那么你的样本数据最好也是在350-400度各种情况都有，并且也是在380度左右的样本较多些，这样可以极大可能的照顾到系统在各个情况下的规律特征。

通常我们对系统的内在规律不是很了解，所以我们希望通过尽可能大的样本规模来“地毯式”覆盖对象系统的方方面面。3、再次就是样本数据的规模，也就是你要问的问题。

在确保样本数据质量和分布均衡的情况下，样本数据的规模决定你神经网络训练结果的精度。样本数据量越大，精度越高。

还用刚才的例子，假如反应炉的温度主要均匀分布在375-385度之间，那么你用100个均衡分布在375-385度的训练样本去训练，经过无限次或者说是足够多次迭代之后，理论上你的神经网络的精度就是0.1度。

如果你觉得0.1度足够细腻了，那么样本规模为100也就可以接受了。由于样本规模直接影响计算机的运算时间，所以在精度符合要求的情况下，我们不需要过多的样本数据，否则我们要等待很久的训练时间。

补充说明一下，不论是径向基（rbf）神经网络还是经典的bp神经网络，都只是具体的训练方法，对于足够多次的迭代，训练结果的准确度是趋于一致的，方法只影响计算的收敛速度（运算时间），和样本规模没有直接关系。

神经网络，训练样本500条，为什么比训练样本6000条，训练完，500条预测比6000条样本好！

并非训练样本越多越好，因课题而异。1、样本最关键在于正确性和准确性。你所选择的样本首先要能正确反映该系统过程的内在规律。

我们从生产现场采得的样本数据中有不少可能是坏样本，这样的样本会干扰你的神经网络训练。通常我们认为坏样本只是个别现象，所以我们希望通过尽可能大的样本规模来抵抗坏样本造成的负面影响。

2、其次是样本数据分布的均衡性。你所选择的样本最好能涉及到该系统过程可能发生的各种情况，这样可以极大可能的照顾到系统在各个情况下的规律特征。

在确保样本数据质量和分布均衡的情况下，样本数据的规模决定你神经网络训练结果的精度。样本数据量越大，精度越高。

由于样本规模直接影响计算机的运算时间，所以在精度符合要求的情况下，我们不需要过多的样本数据，否则我们要等待很久的训练时间。

如何确定何时训练集的大小是“足够大”的？

神经网络的泛化能力主要取决于3个因素：1.训练集的大小2.网络的架构3.问题的复杂程度一旦网络的架构确定了以后，泛化能力取决于是否有充足的训练集。

合适的训练样本数量可以使用Widrow的拇指规则来估计。

拇指规则指出，为了得到一个较好的泛化能力，我们需要满足以下条件（WidrowandStearns，1985；Haykin，2008）：N=nw/e其中，N为训练样本数量，nw是网络中突触权重的数量，e是测试允许的网络误差。

因此，假如我们允许10%的误差，我们需要的训练样本的数量大约是网络中权重数量的10倍。

想训练小波神经网络但是没有训练样本怎么办

如何提高神经网络的外推能力

人工神经网络以其智能性见长，那么神经网络能真的学到一个映射的本质吗？也就是说，对一个映射给出一定的必要的训练样本训练后，网络能否对样本以外的样本给出较为准确的预测。

泛化能力也就是神经网络用于对未知数据预测的能力。神经网络对训练样本区间范围内的样本有较好的泛化能力，而对于训练样本确定的范围外的样本不能认为有泛化能力。

常规的几种增强泛化能力的方法，罗列如下：1、较多的输入样本可以提高泛化能力；但不是太多，过多的样本导致过度拟合，泛化能力不佳；样本包括至少一次的转折点数据。

2、隐含层神经元数量的选择，不影响性能的前提下，尽量选择小一点的神经元数量。隐含层节点太多，造成泛化能力下降，造火箭也只要几十个到几百个神经元，拟合几百几千个数据何必要那么多神经元？

3、误差小，则泛化能力好；误差太小，则会过度拟合，泛化能力反而不佳。

4、学习率的选择，特别是权值学习率，对网络性能有很大影响，太小则收敛速度很慢，且容易陷入局部极小化；太大则，收敛速度快，但易出现摆动，误差难以缩小；一般权值学习率比要求误差稍微稍大一点点；另外可以使用变动的学习率，在误差大的时候增大学习率，等误差小了再减小学习率，这样可以收敛更快，学习效果更好，不易陷入局部极小化。

5、训练时可以采用随时终止法，即是误差达到要求即终止训练，以免过度拟合；可以调整局部权值，使局部未收敛的加快收敛。

训练神经网络时样本数量不足怎么办？