摘要

在过去的几年中，深度神经网络(DNNs)在现实世界的各种应用中取得了显著的成功。但是，DNNs考虑的输入量大，参数也多，计算量大。我们研究人体感觉系统，并提出SpinalNet以较少的计算资源达到更高的精度。在典型的神经网络(NN)架构中，隐含层接收第一层的输入，然后将中间结果传输到下一层。在提出的SpinalNet中，隐含层的结构分配到三个扇区:1)输入行，2)中间行，3)输出行。棘网中间行含有少量神经元。输入分割的作用是使每个隐藏层能够接收前一层的输入和输出的一部分。因此，隐含层的传入权值数量明显低于传统的DNNs。由于SpinalNet的所有层都直接影响输出行，所以不存在消失梯度的问题。我们还研究了脊髓网络的全连接层与几个著名的DNN模型，并进行了传统的学习和迁移学习。我们观察到，在大多数DNNs中，误差显著减少，计算成本更低。我们还在QMNIST、Kuzushiji-MNIST、EMNIST(字母、数字和平衡)、STL-10、Bird225、Fruits 360和Caltech- 101数据集上获得了最先进的(SOTA)性能。建议的SpinalNet脚本可以通过以下链接获得:https://github.com/dipuk0506/SpinalNet

Ⅰ.介绍

深度神经网络(DNNs)在各个科学和工程领域带来了最先进的性能[1][4]。DNNs通常有大量的输入特征，考虑更多的参数通常可以提高预测的准确性。第一个隐藏层的大小至关重要。一个小的第一隐藏层不能正确地传播所有的输入特征，而一个大的第一隐藏层会大大增加权重的数量。传统DNNs的另一个局限性是梯度消失。当层数较大时，在接近输出的参数处梯度较大，而在接近输入的参数处梯度可以忽略不计。由于梯度消失的问题，DNN的训练变得困难。
人类的大脑也从我们的皮肤接收很多信息。无数的触觉神经元从我们身体的不同部位发出触觉、热感、振动感等。它们能感知压力、热、振动、复杂的纹理、硬度、物质的状态等。随着时间的推移，人类的触觉敏感度会有所不同。虽然人类还不知道确切的机制，但目前的知识基础表明，我们的脊髓神经元具有巨大的功能。人类脊髓的不同部位接收不同的触觉。多个椎体可连接到一个内脏。图1(a)给出了人类触摸传感器与脊髓之间的简化粗略连接。

图1。我们通过模仿人体的体感系统来开发SpinalNet，以有效地接收大量的输入，并实现更好的性能。(a)人体感觉系统的一半，表现我们的脊髓如何接收来自身体的感觉信号。(b)拟议棘网的结构。所提出的神经网络由输入行、中间行和输出行组成。中间行包含多个隐藏层。每个隐藏层接收输入的一部分。除第一层外的所有层也接收前一层的输出。输出层将中间行所有隐藏神经元的加权输出相加。用户还可以为任意数量的输入、中间神经元和输出构造和训练一个棘网。

研究人员通过模仿猫视觉皮层的功能开发了卷积神经网络(CNN)，这对卷积神经网络[6]的准确性带来了重大改进。人类神奇的脊柱结构和最近cnn的成功激励我们开发一个渐进输入的神经网络。
减少计算量的一个著名方法是池化操作[7]。然而，池化会导致信息的丢失。解决消失梯度问题的常用方法是ResNet和DenseNet。它们允许在不同的层上进行快捷连接。因此，在输入[8]附近的神经元，梯度仍然很高。随着深度的增加，resnet总是能够提供更好的性能，深度可以达到数千层。然而，随着深度的增加，ResNet有一个轻微的边际改进。而且，非常深的resnet有一个减少特征再利用的问题。因此，Sergey等人提出了广泛的残差网络[9]，并取得了优异的性能。Zifeng等人也在较浅、较宽的NNs[10]中获得了较好的性能。Gao等人提出DenseNet，连接所有层[11]。基于以下两个原因，在大多数情况下，DenseNet训练速度更快，性能更好:1)DenseNet的所有层都被连接;2)它们使密集的层比ResNet窄。当所有层都连接起来时，梯度和特性重用不会在层上消失。然而，由于所有层都是连接的，每增加一层的网络大小就需要从所有现有层连接到该层。因此，深层DenseNet在计算上是昂贵的。神经网络的自适应结构学习(AdaNet)在训练过程中实现了神经元的连接和权值的优化。对DNN的所有可能连接的考虑是计算密集型的。新神经元的形成需要考虑将其与其他神经元连接起来。因此，AdaNet适用于浅层NNs[12]、[13]。
虽然DNNs在多个领域都取得了SOTA的性能，但在训练和执行过程中，DNNs仍然承受着巨大的计算开销[14]。本文提出如图1(b)所示的SpinalNet，以更小的计算开销提高性能。所提出的具有渐进和重复输入能力的结构，使网络神经网络能够以较少的参数实现预期的结果。我们研究提出的SpinalNet作为VGG-5网络的全连接层，并在四个MNIST数据集中接收SOTA性能。我们在STL-10、Bird225、Fruits 360和Caltech-101数据集上应用SpinalNet全连接层的迁移学习，并获得SOTA性能。我们在超过17个不同的数据集中研究SpinalNet及其变异。我们也得到较好的结果在其他数据集用至少一个变种的SpinalNet。
本文组织如下：Section Ⅱ介绍了SpinalNet的理论背景，讨论了人类的脊髓和提出的SpinalNet的相似性，证明了SpinalNet的通用近似，并讨论了迁移学习。Section Ⅲ展示了SpinalNet在其他解决回归和分类问题相关竞赛的实验结果。Section Ⅳ描述了SpinalNet的前景，Section Ⅴ是总结部分。

Ⅱ、理论背景

通常有两种类型的DNNs:卷积的和非卷积的。非卷积神经网络的结构由完全连接的输入层、隐藏层和输出层组成。深度cnn包含卷积层和完全连接层。由于卷积和扁平化程序，参数的数量急剧增加。池化层的任务就是减少网络参数的数量[15]。根据Vogt的研究[16]，池化层在DNN方法中的重要性主要有两点。首先，池化减少了下一层输入的大小，但它允许学习更多的映射。其次，池化有助于大规模地组合从前一层获得的输出。然而，pooling也会导致信息的丢失，因为它只考虑附近值[16]，[17]的聚合。将池化层收集到的信息通过扁平化转化为一维向量。最后，全连接层计算一维向量的输出。

A、人体感觉系统和脊髓

虽然人类体感系统的确切机制还没有被很好地理解，但我们发现人类脊髓和所提出的神经网络[19]之间有一些相似之处。我们旨在模仿的特性如下:
1)渐进输入神经丛。
2)自愿和非自愿的行为。
3)对疼痛强度的注意力。
感觉神经元通过一个被称为神经丛的复杂网络到达脊髓。图2表示神经丛的一部分。

图2所示。人神经丛的一部分;也就是臂丛神经。任何触摸或疼痛的信息都通过神经丛和脊髓到达大脑。神经丛是神经相交的网络。我们的脊髓逐渐接收信息。这里，C5-C8和T1是人类骨骼[18]中的椎骨。

单个脊椎骨无法接收所有的信息。触觉感知网络包括数百万个传感器。此外，人类的触觉系统比视觉或听觉系统更稳定，因为与盲人的数量相比，触摸盲患者的数量更少。神经丛网络将所有触觉信号逐渐发送到脊髓。不同位置的脊髓接受腿的疼痛和手的疼痛[19]。脊柱中的神经元负责将触觉传递给大脑，并可能采取某些行动。我们的大脑可以控制脊髓神经元增加或减少疼痛强度[20]。感觉神经元也可能在接受大脑的指令之前将信息传递给下肢运动者。这个神奇的过程被称为无意识或反射运动。

B、人体感觉系统和脊髓

所提出的脊髓网与人类脊髓的上述特征有以下相似之处。
1)逐步输入
2)本地产出和可能的全球影响
3)在训练中重新配置权重。
与我们的脊髓相似，我们提出的脊髓网是逐步重复地接受输入。每一层SpinalNet都有助于局部输出(反射)。SpinalNet还向globaloutput(大脑)发送一种经过调制的输入。神经网络的训练过程根据训练数据配置权重，就像我们的大脑一样，配置脊髓神经元来调节我们身体不同感觉的疼痛敏感性。
图1显示了所提出的SpinalNet的结构。该网络结构由输入行、中间行和输出组成。输入被分割并发送到多个隐藏层的中间行。在图1中，中间行和输出行每个隐藏层包含两个神经元。每个隐藏层的输出神经元的数量等于输出神经元的数量。中间神经元的数量可以根据用户的不同而改变。然而，每一层中间神经元的数量和输入的数量都经常保持在较低的水平，以减少乘法的数量。由于输入的数量和每层的中间隐藏神经元分配的数量很少，网络可能有一个不适合的形状。因此，每一层都接收来自前一层的输入。由于输入是重复的，如果输入的一个重要特征不影响一个隐含层的输出，那么这个特征可能会影响另一个隐含层的输出。中间行包含一个非线性激活函数，输出行包含线性激活函数。在图1(b)中，输入值被分成三行。这些行以重复的方式分配给不同的隐藏层

C、SpinalNet的通用性

提出一种新的神经网络结构引出了其泛化性的问题[21]，[22]。因此，我们证明了普遍性。通用性的的传统数学证明包含学术和深奥的方程。然而，我们这篇论文为了吸引更多的读者是没有方程式的。因此，我们用下面的方法来证明通用性。
1)较宽的NN的单个隐藏层是泛逼近器[23]。
2)如果我们能证明由大量层组成的SpinalNet等价于较宽的NN的单个隐含层，则证明了普遍逼近。
图3展示了一个简单版本的SpinalNet如何等同于一个单一的隐含层神经网络。在图3(a)中，简化了一个包含两层隐层(HLs)的SpinalNet，每层包含两个神经元。第一层的神经元包含纯线性函数。因此，第一层只给出x1到x5输入的加权和。第一个隐藏层的每个隐藏神经元的输出只会传递到第二个隐藏层的一个类似的神经元。交叉连接和从第一个隐藏层到输出的连接通过分配零权重被断开。第二层隐含层接收x6到x10的加权求和。它还接收前一层从x1到x5的加权求和。然后，这一层的神经元对x1到x10的加权和应用激活函数。因此，这两层相当于一个单一HL的神经网络，包含两个隐藏的神经元，如图3(b)所示。 图3(d)显示了一个简化的SpinalNet ，它有四个HLs，每层包含两个神经元。同样，图3(d)中的SpinalNet也相当于图3©中包含四个神经元的含有一个HL的神经网络。

图3所示。SpinalNet的普遍近似的直观证明。(A)中SpinalNet的简化版本可以作为(b)中绘制的单个隐含层的神经网络。同样，(d)中一个4层的SpinalNet可以等价于一个包含4个神经元的隐含层(HL)的神经网络，如©所示。

同样，一个深层SpinalNet可以等同于一个包含大量神经元的单一隐藏层的神经网络。具有单一隐层和大量神经元的神经网络实现了普遍逼近。因此，深层SpinalNet也具有普遍的近似性。

D、迁移学习

学习迁移是一种有效的方法，可以将已习得的知识和技能用于解决新问题。类似于用更广泛的教学大纲来教育人类，以实现在不可预测的未来的能力。机器学习最有效的思想之一是迁移学习(TL)，它类似于人类中的学习迁移[24]。DNNs需要足够的训练样本来进行适当的训练。训练样本不足可能导致性能不佳。迁移学习(TL)是一种有效的DNN训练技术，利用大数据集对DNN的初始层进行预训练。相应的训练数据集只训练最后的几个层。因此，用户可以针对小样本数的特定数据集得到训练良好的神经网络，计算开销[25]较低。由于卓越的性能和可用性，TL现在非常受欢迎。许多研究人员预计TL将成为机器学习商业成功的下一个驱动力[26]。
一些标准数据集包含的训练样本不足。CIFAR-100、Caltech-101、STL-10等数据集就是这样的数据集。传统的DNN训练训练整个DNN。从报道的结果来看，传统的DNN训练技术在CIFAR-100数据集上不能达到90%以上的准确率，而TL可以达到93%以上的准确率。

Ⅲ、结果

在本节中，我们旨在验证SpinalNet对回归和分类问题的有效性。我们应用不同的SpinalNet变量，并在几个数据集中达到SOTA。训练程序遵循随机梯度下降(SGD)或Adam训练技术。

A、 回归数据集

与分类相比，回归是神经网络研究人员较少关注的话题。在分类问题中存在大量的数据集，各种算法之间存在有组织的竞争。回归缺乏流行的标准数据集和竞赛。因此，我们将SpinalNet与Ben Phillips[27]开发的PyTorch回归示例进行比较。该示例考虑单个输入和单个输出，应用Adam算法[28]来进行优化。实验中使用的损失函数为均方误差(MSE)，学习速率为0.01，迭代次数为200。我们把问题改成了八个变量，在相同的噪声水平下尝试不同的变量组合。1)变量总和， 2)变量和的正弦，3)变量乘积， 4)变量乘积的正弦。我们在100和200个时期记录MSE。默认代码[27]显示了最后一个epoch的MSE，但是我们的代码显示了当前和以前时代的最小MSE。我们将输入分成两组，每组包含四个输入。
传统神经网络的隐藏神经元数为300[27]。SpinalNet中隐藏的神经元也有300个。传统神经网络的乘法运算为21700，SpinalNet的乘法运算为14000。
SpinalNet的乘法次数减少了35.5%。传统神经网络中的参数个数为22.00k, SpinalNet中的参数个数为14.30k。MSE比较有8种组合，如表1所示。性能较好的部分用粗体字突出显示。SpinalNet在8种组合中有6种表现更好

B、分类:从零开始学习

我们随机初始化训练几个现有的网络和SpinalNet的不同变体，在MNIST,Fashion-MNIST, KMNIST, QMNIST, EMNIST, CIFAR-10, CIFAR-100图像分类数据集。

1. MNIST：MNIST数据集由于其简单、体积小，是研究图像分类算法的最流行的数据集之一。我们比较我们的SpinalNet和PyTorch CNN[29]。一个由50个神经元组成的隐藏层将它们与输出连接起来。默认的CNN代码提供了98.17%的准确性。我们研究了同样的神经网络与一个SpinalNet全连接(FC)层。FC层由6个子隐层组成，每层包含8个神经元。SpinalNetFC提供了98.44%的准确性。该结构使乘法运算降低了48.5%，激活功能在全连通层上降低了4%。表II中的第一部分给出了MNIST数据集的结果。SpinalNet减少了参数的总体数量，并显著提高了性能。
   
   由于VGG模型在MNIST数据集上表现很好，我们将SpinalNet与VGG-5网络[30]合并。VGG-5Spinal完全连接层提供了接近最先进的性能。VGG-5(SpinalFC)的准确率为99.72%。根据我们的文献检索，它是前20准确率的准确性之一。我们执行10度的随机旋转和随机透视PyTorch库函数来增强数据。
2. Fashion-MNIST: Fashion-MNIST数据与MNIST非常相似。它还包含28个灰度图像，输出包含10个类。因此，MNIST代码可执行到Fashion-MNIST数据，无需任何修改。同样的神经网络用于计算CNN和CNN(Spinal FC)。
   VGG-5(Spinal FC)的准确率为94.68%。默认的VGG-5提供了94.63%的准确性。因此，Spinal FC以更低的乘法次数提供了更好的性能。我们运用了随即旋转和随即调整大小来增加数据。根据我们的检索，他的准确率位列前五。
3. Kuzushiji-MNIST: Kuzushiji-MNIST或简称KMNIST是一个日文字符识别数据集。KMNIST的数据格式与MNIST数据相同，可以使用相同的代码。表二是代码的性能。我们利用脊髓FC层和CNN获得了更好的性能。VGG-5(脊髓FC)的准确率为99.15%。这是一个新的SOTA为Kuzushiji-MNIST数据集[31]，[32]。我们应用随机透视和随机旋转来增强数据。VGG-5和VGG-5(脊髓FC)的数据增强是相同的。默认的vg -5提供98.94%的准确性。因此，脊柱FC以更低的乘法次数提供了更好的性能。
4. QMNIST: QMNIST是最近发布的英文数字识别数据集。QMNIST数据集包含50,000个测试图像。输入和输出的维度与MNIST数据集的输入和输出的维度相同。因此，同样的代码在QMNIST数据集上可执行。表二第四部分介绍了QMNIST的结果。默认的PyTorch CNN提供了QMNIST数据的97.82%的准确性。CNN(Spinal FC)的脊椎层分别为8和10提供了97.97%和98.07%的准确性。
   VGG-5的精度为99.66%。VGG-5(Spinal FC)的精确度为99.68%。根据我们的文献搜索，我们得到了QMNIST数据集的SOTA性能。我们应用随机透视和随机旋转函数来达到这些结果。
5. EMNIST: EMNIST数据集包含多个手写字符数据集。这些数据集来自NIST数据库，并转换为28 × 28像素的灰度图像格式。EMNIST(digits)数据集也有10个类。NNs对EMNIST (digit)数据的准确性在表二的第五部分。默认的PyTorch CNN提供了98.89%的准确性。VGG-5提供99.81%的准确性，VGG-5(脊柱FC)提供99.82%的准确性。根据我们的文献搜索，我们得到了EMNIST (digits)数据集的SOTA性能。默认的PyTorch CNN为EMNIST (letters)数据集提供87.57%的准确性。VGG-5提供95.86%的准确性，VGG-5(脊柱FC)提供95.88%的准确性。根据我们的文献搜索，我们得到了EMNIST (letters)数据集的SOTA性能。默认的PyTorch CNN为EMNIST(平衡)数据集提供了79.61%的准确性。vg -5提供91.04%的精度。VGG-5(脊柱FC)提供91.05%的准确性。根据我们的文献搜索，我们得到了EMNIST(平衡)数据集的SOTA性能。我们应用随机透视和随机旋转函数来增强所有EMNIST数据集。
   默认的PyTorch CNN为EMNIST (letters)数据集提供87.57%的准确性。VGG-5提供95.86%的准确性，VGG-5(Spinal FC)提供95.88%的准确性。根据我们的文献搜索，我们得到了EMNIST (letters)数据集的SOTA性能。
   默认的PyTorch CNN为EMNIST(balanced)数据集提供了79.61%的准确性。VGG-5提供91.04%的精度。VGG-5 (Spinal FC)提供91.05%的准确性。根据我们的文献搜索，我们得到了EMNIST(balanced)数据集的SOTA性能。我们应用随机透视和随机旋转函数来增强所有EMNIST数据集
6. CIFAR-10数据集:CIFAR-10数据集比原始的MINST数据集更难预测[33]。PyTorch CNN示例[34]对CIFAAR-10数据进行了分类得到了60%的准确率。一个由6个隐藏层组成的棘网，每一层包含20个神经元，达到了62%的准确性。在全连接层，误差降低了5%，乘法减少了4.8%。
   Hasan等人分享的DenseNet代码[35]在35个epoch后的准确率为77.79%。DenseNet全连接层有一个512个神经元隐藏层。我们训练一个8层的SpinalNet，每层包含16个神经元。隐藏的神经元数量变成了四分之一，乘法运算的数量减少了87%。尽管如此，我们发现误差减少了15%。另一个SpinalNet有8个隐藏的层，每层包含64个神经元。隐藏神经元的数量保持不变，乘法运算的数量减少了44.1%。与之前的DenseNet代码[35]相比，误差减少了18.7%。
   ResNet[36]示例的PyTorch在80次循环后提供了88.35%的准确性。在4个隐藏层的SpinalNet中，每层包含16个神经元，80个循环后准确率达到88.65%，140个循环后准确率达到88.93%。然而，我们在默认的ResNet代码[36]上减少了池化，增加了全连接层的乘法，。然而，使用标准的ResNet块，精度较低。脊柱全连接层使ResNet-18和ResNet-34的性能略有下降。
   使用VGG网络，神经网络的规模和性能得到了持续的改善。由于VGG神经网络包含一个大的全连接层，SpinalNet可以作为一个优化的全连接层。我们调查了VGG- 11、VGG-13、VGG-16和VGG-19。VGG-19在VGG网络和VGG SpinalNets中提供了最高的精度(91.40%)。然而，ResNet-18可以提供91.98%的精度，增加脊状全连接层会降低准确率。
   根据我们的结果，SpinalNet对全连接层中包含激活函数的神经网络有显著的改善。ResNet在全连接层没有激活函数。因此，使用SpinalNet FC层对ResNet的改善并不显著。
7. CIFAR-100数据集:ResNet和VGG networks利用CIFAR-10数据得到了很好的结果。因此，我们将它们应用于CIFAR-100数据集。对于不同的VGG网络，我们通过脊髓FC层得到了显著的改进。在VGG网络中，VGG-16的性能最好。VGG-16 提供了63.20%的准确性，在150 epoch的训练后，SpinalNet提供了64.99%的准确性。此外，与脊髓FC层相比，完全连接层中的神经元数量减少了一半。此外，FC层的乘法次数减少到7%。VGG-16有两个尺寸为4096的隐藏层。用四个512大小的脊髓层代替它们，大大减少了繁殖的次数。然而，脊髓全连接层并没有提高ResNet的性能。尽管在完全连接层中隐藏的神经元数量在增加，但我们得到的性能却较低。可能的原因是梯度的减少是由于SpinalNet中的额外层造成的初始层。

C、分类：迁移学习

我们观察到在从头开始的学习过程中，虽然全连接层隐藏神经元的数量在增加，但具有Spinal FC 的ResNet与类似的ResNet相比性能较低。可能的原因是由于额外的层而导致的初始层的梯度的减少。因此，我们将迁移学习技术应用于预训练的ResNet和VGG网络。我们从Torchvision下载预先训练的VGG-19 bn和Wide-Resnet-101模型。这些模型是在Imagenet数据集上预先训练的。我们将这两种模型应用于以下数据集。

1. CIFAR-10:我们将预先训练好的VGG-19 bn和WideResnet-101模型训练到CIFAR-10数据中。我们研究了传统FC层和Spinal FC层。SpinalNet在VGG网络的精度和参数数量方面取得了显著的改善。然而，与原始的WideResNet.相比，采用Spinal FC的WideResNet性能略低。

2. CIFAR-100:和往常一样，在CIFAR-100数据集上，SpinalNet在VGG网络上表现良好。在Wide-ResNet-101上，我们获得了88.34%的较高准确率，其中512个神经元的wide Spinal FC，dropout。它是CIFAR-100数据集上准确率前十之一。结果在表三第二部分。
   

3. Caltech-101: VGG和Wide-ResNet的SpinalNet在Caltech-101数据集上都表现良好。我们得到了加州理工101数据集的SOTA性能。

4. Bird225: VGG和Wide-ResNet的SpinalNet在Bird225数据集上都表现良好。我们得到了Bird225数据集的SOTA性能。结果载于表三第四部分。

5. Stanford Cars:尽管SpinalNet在VGG模型下表现良好，但与Wide-ResNet模型的精度是相等的。此外，我们的结果不在斯坦福汽车排行榜的前20名之列。性能不佳的可能原因是图像的高分辨率。其他几位研究人员正专注于图像的某些部分，以获得较高的精度。

6. SVHN:尽管我们在Spinal FC两个网络上都获得了稍好一些的结果，但我们的表现不在前20名之列。表现如此糟糕的可能原因是使用不同类型的数据进行的训练。Imagenet数据集中大部分的类都不是数字。使用不同类型的数据进行预训练可能会限制性能。

7. CINIC-10:我们在VGG和Wide-ResNet神经网络的准确性方面得到了显著的改进。我们的Wide-ResNet Spinal FC结果是报道的前五名结果之一。数据增强和模拟的详细程序可在GitHub代码。

8. STL-10:在STL-10数据集上，SpinalNet在VGG和Wide-ResNet网络上都表现良好。我们得到了STL-10数据集的SOTA性能。

9. Oxford 102 Flower:我们对预先训练过的VGG-19 bn和Wide-Resnet-101进行了训练。我们研究了传统FC层和Spinal FC。SpinalNet在VGG网络的精度和参数数量方面取得了显著的改善。有一个稍微低的性能在Wide ResNet 。我们的结果与Wide ResNet 网络是排名前五的准确性。

10. Fruits 360: Fruits 360数据集是最简单的机器学习问题之一。一些程序员已经为该数据集发布了Kaggle效率超过99.9%的代码。我们在使用SpinalNet的VGG和Wide-ResNet网络的Fruit 360数据集上实现了很好的结果。Spinal FC的Wide-ResNet-101提供100%的准确性。然而，今年另一篇论文也报道了同样的效率。
    11)其他研究数据集:我们还研究了Intel图像分类中包含SpinalNet全连接层的Wide-ResNet101和Kaggle中的10个猴子物种数据集，分别获得了93.77%和99.26%的精度。

D、最高的准确率

表IV展示了我们调查的数据集的SOTA性能。

将SpinalNet与VGG-5结合在一起可以在MNIST数据集中提供接近SOTA或SOTA的性能。MNIST SOTA模型通常是一个组合模型，对于特定的数据集具有最佳的性能。我们还获得了5个mist数据集的SOTA性能。获取SOTA的主要原因不是所提议的网络。由于这些数据集是新的，很少有研究者研究这些数据，我们的结果是报道的结果中最好的。我们还将迁移学习应用于spinal 完全连接层，并在多个彩色图像数据集中实现SOTA性能。

Ⅳ、SPINALNET的发展前景

SPINALNET还有很多需要进一步研究和改进的地方，在本节的其余部分可以提及。

A、自动降维

降维是一种流行的减少神经网络输入数量而不面临明显性能退化的技术[63]。神经网络的输入组合可能包含大量相互关联或不相关的数据。由于SpinalNet在每一层都接受输入，并且每一隐藏层的神经元数量少于输入总数，因此SpinalNet可以自动丢弃不相关的数据。此外，由于大量的输入特征并不会大大增加计算量，因此降维的必要性可能会降低

Ⅴ、结论

本文旨在提出一种新的DNN模型SpinalNet的概念和结构。脊索动物的神经系统有一种独特的方式来连接大量的感知信息并做出局部的决定。最近提出的DNNs的主要缺点是由于大量的网络输入，其计算强度大。因此，逐步地输入并考虑局部的决定，比如类似于我们的脊髓，会减少计算量。在本文中，我们还介绍了SpinalNet在几个著名的基准数据集上的有效性，从而提高了分类精度。此外，SpinalNet的计算范围通常小于它的对等物。结合vg -5和迁移学习，SpinalNet在4个数据集上实现了SOTA性能。作为未来的研究方向，我们将努力提高所提出的SpinalNet的准确性，并将改进后的SpinalNet应用于广泛的现实世界场景。

SpinalNet: Deep Neural Network with Gradual Input相关推荐

1. 5.深度学习练习：Deep Neural Network for Image Classification: Application

   本文节选自吴恩达老师<深度学习专项课程>编程作业,在此表示感谢. 课程链接:https://www.deeplearning.ai/deep-learning-specialization ...

2. 4.深度学习练习：Building your Deep Neural Network: Step by Step（强烈推荐）

   本文节选自吴恩达老师<深度学习专项课程>编程作业,在此表示感谢. 课程链接:https://www.deeplearning.ai/deep-learning-specialization ...

3. 论文阅读（XiangBai——【AAAI2017】TextBoxes_A Fast Text Detector with a Single Deep Neural Network）...

   XiangBai--[AAAI2017]TextBoxes:A Fast Text Detector with a Single Deep Neural Network 目录 作者和相关链接 方法概括 ...

4. 《3D Point Cloud Registration for Localization using a Deep Neural Network Auto-Encoder》读书笔记

   3D Point Cloud Registration for Localization using a Deep Neural Network Auto-Encoder 题目:基于深度神经网络自编码 ...

5. 论文笔记：Identifying Lung Cancer Risk Factors in the Elderly Using Deep Neural Network - Chen, Wu

   论文笔记:Identifying Lung Cancer Risk Factors in the Elderly Using Deep Neural Network - Chen, Wu 原文链接 I ...

6. 文献记录(part33)-Hierarchical deep neural network for mental stress state detection using IoT ...

   学习笔记,仅供参考,有错必纠 仅记录实验 文章目录 Hierarchical deep neural network for mental stress state detection using I ...

7. 论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications

   论文阅读 [TPAMI-2022] ManifoldNet: A Deep Neural Network for Manifold-Valued Data With Applications 论文搜索 ...

8. 论文翻译：2022_PACDNN: A phase-aware composite deep neural network for speech enhancement

   论文地址:PACDNN:一种用于语音增强的相位感知复合深度神经网络 相似代码:https://github.com/phpstorm1/SE-FCN 引用格式:Hasannezhad M,Yu H,Z ...

9. 抓取检测之 End-to-end Trainable Deep Neural Network for Robotic Grasp Detection and Semantic Segmentation

   前言: 最近研究没有进度,就想着找几篇质量高点的最近的关于抓取检测的论文,这篇文章很新,联合了抓取检测和语义分割,正好自己也想着将语义分割应用到自己的抓取网络中,奈何自己编码基本功不到位,只能先看看思 ...

最新文章

1. celery 停止任务_celery异步任务框架
2. slack 国内 android,使用Slack Api登录，Android
3. Java ClassLoader
4. [蓝桥杯2017初赛]Excel地址
5. （链表 栈 队列 递归）
6. jax-ws和jax-rs_带有JAX-WS和Spring的Web服务应用程序
7. 第二章 Python基本元素：数字、字符串和变量
8. 苹果如何分屏_刚刚，苹果证实，iPhone12 刘海没了！
9. 会动的图解 (二) 怎么让goroutine跑一半就退出？
10. Linux IO控制命令生成
11. 计算机网络网际协议实验报告,计算机网络网际协议ip实验报告.doc
12. 模二多项式环 及 BCH码 的纯python实现和一些问题
13. 网络安全知识点（全）
14. 拼音加加在双拼状态下在输入数字后的标点不正常的解决方式
15. 爬虫入门-爬取有道在线翻译结果(1)
16. ELMO驱动器与nanotec电机通过compser软件调试PID参数的方式
17. 搭建网站要多少钱？自助建站制作网站要花多少钱？
18. cvte java_cvte java面试题
19. （附源码）计算机毕业设计SSM旅游出行系统
20. 孟丽秋教授当选为慕尼黑工业大学第一副校长

热门文章

1. win10服务器网页打不开怎么办,Win10电脑有网但浏览器打不开网页怎么办？
2. java 联网版五子棋
3. 999系统可用性时间表
4. 系统架构设计笔记（38）—— 工作流设计
5. 做好多项目管理的十个关键步骤（含工具）
6. JAVA毕设项目林家餐厅自助点餐管理系统（java+VUE+Mybatis+Maven+Mysql）
7. 【2】数据可视化：基于 Echarts + Python 实现的动态实时大屏 - 物流大数据
8. 淘宝拍立淘以图搜图接口：使用方法和指南
9. HTML5：爱奇艺首页图片轮播效果
10. tf.convert_to_tensor()