关于神经网络的输出神经元个数的思考
博主对于神经网络的输出神经元个数的问题，起源于“识别手写数字的神经网络为什么需要10个输出而不是四个？”.
实际上，这是两种不同的编码方式，两种的网络架构都是可行的，但是我们选择十个神经元而不是四个神经元来表达各类别，是因为这是经验上的选择，从效果来说，输出为十个的效果更好。
具体理由如下：
如果输出为四个，那么输出层的每个神经元需要学习的是“1和2的手写体之间的区别”之类的断言；
如果输出为十个，那么输出层的每个神经元需要学习的只是“判断一幅图片是不是1”这样的断言。
而描述一个图片是不是某个数字比描述两个数字之间的区别容易的多。
（问题来自Neural networks and deep learning）
You might wonder why we use 10 output neurons. After all, the goal of the network is to tell us which digit (0,1,2,…,9) corresponds to the input image. A seemingly natural way of doing that is to use just 44 output neurons, treating each neuron as taking on a binary value, depending on whether the neuron's output is closer to 0 or to 1. Four neurons are enough to encode the answer, since 24=16 is more than the 10 possible values for the input digit. Why should our network use 10 neurons instead? Isn't that inefficient? The ultimate justification is empirical: we can try out both network designs, and it turns out that, for this particular problem, the network with 1010output neurons learns to recognize digits better than the network with 4 output neurons. But that leaves us wonderingwhyusing 1010output neurons works better. Is there some heuristic that would tell us in advance that we should use the 10-output encoding instead of the 4-output encoding?
……
关于神经网络的输出神经元个数的思考相关推荐
- matlab 神经网络设计多层隐含层_[rbf神经网络]请教关于MATLAB中RBF神经网络隐含层神经元个数的问题...
rbf神经网络 请教关于MATLAB中RBF神经网络隐含层神经元个数的问题 问题补充:MATLAB中用newrb(P, T, goal, spread)创建的神经网络,用于数据的预测,程序可以运行并能 ...
- 确定神经网络层数以及神经元个数
神经网络主要由输入层,隐藏层以及输出层构成,合理的选择神经网络的层数以及隐藏层神经元的个数,会在很大程度上影响模型的性能(不论是进行分类还是回归任务). 输入层的节点数量以及输出层的节点数量是最容易获 ...
- bp神经网络隐含层神经元个数_CNN,残差网络，BP网络
(以下实验均在MNIST中实现) 一.CNN与CNN改进的对比 众所周知,对于CNN卷积神经网络而言,随着卷积层数的增加,其模型的准确度也会增加.那模型层数和准确度是无限地成正比例关系吗?显然不是的, ...
- PSO粒子群优化CNN-优化神经网络神经元个数dropout和batch_size等超参数
1.摘要 本文主要讲解:PSO粒子群优化-CNN-优化神经网络神经元个数dropout和batch_size,目标为对沪深300价格进行预测 主要思路: PSO Parameters :粒子数量.搜索 ...
- SSA麻雀算法-LSTM-优化神经网络神经元个数-dropout-batch_size
1.摘要 本文主要讲解:使用SSA麻雀算法-LSTM-优化神经网络神经元个数-dropout-batch_size 主要思路: SSA Parameters :优化函数.粒子数量.搜索维度.迭代次数 ...
- 灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size
1.摘要 本文主要讲解:使用灰狼算法优化LSTM超参数-神经元个数-dropout-batch_size 主要思路: 灰狼算法 Parameters : 迭代次数.狼的寻值范围.狼的数量 LSTM P ...
- 神经网络结构设计指导原则——输入层：神经元个数=feature维度 输出层：神经元个数=分类类别数，默认只用一个隐层 如果用多个隐层，则每个隐层的神经元数目都一样...
神经网络结构设计指导原则 原文 http://blog.csdn.net/ybdesire/article/details/52821185 下面这个神经网络结构设计指导原则是Andrew NG在 ...
- 人工神经网络神经元模型,人工神经元算法机制图
神经网络算法原理 4.2.1概述人工神经网络的研究与计算机的研究几乎是同步发展的. 1943年心理学家McCulloch和数学家Pitts合作提出了形式神经元的数学模型,20世纪50年代末,Rosen ...
- Tensorflow BP神经网络多输出模型在生产管理中应用实践
本文以某企业组织建设为研究对象,采用大数据神经网络算法中的BP算法, 基于该算法建立了企业组织建设评价模型,最后基于Tensorflow的神经网络开发包实现模型并训练.根据评价结果可评价企业组织建设状 ...
- 3.3 神经网络的输出-深度学习-Stanford吴恩达教授
←上一篇 ↓↑ 下一篇→ 3.2 神经网络表示 回到目录 3.4 多个例子中的向量化 神经网络输出 (Computing a Neural Network's Output) 在上一节的视频中,我们介 ...
最新文章
- Science首发奥密克戎突刺蛋白分子水平分析，揭秘2大传染性增强原因，柳叶刀：全球大流行有望3月结束...
- 新计算机教师工作随笔反思,信息技术反思随笔 (2)
- 【译】Jumping into Solidity — The ERC721 Standard (Part 3)
- 使用 Boost.MPI 的骨架和内容进行优化的示例
- Requested resource=＜memory:-1, vCores:1＞问题解决
- 语音识别遇到的困难 - 浅谈语音识别技术的发展趋势与应用前景
- oracle的关闭过程（各个模式关闭）
- [na]802.1x协议无线认证协议dot1x有线认证实验
- shell判断字符串为空
- 模二运算，模二加减乘除
- 大厂面试八股文——数据库mysql
- DELL Power Edge 1950 系统硬件用户手册
- Tik Tok账号被封了怎么办？
- 虚拟货币套利怎么处理
- 每周博客 农历二月二（理发的日子）
- python 单词库_如何快速获取语料库中的单词集合（使用nltk）？
- 什么是抽象类,接口?他们的区别?(详解)
- 一文了解游戏美术开发流程，以及可能遇到的问题
- php表格升序降序,excel如何实现升序和降序
- 铂电阻温度对应阻值计算方法