softmaxsigmoid
2024-05-15 03:27:53
softmax结果输出为1
- 一些解决方法reference：csdn《tensorflow softmax输出只有0或1》
- 但实际我的程序是因为输入数据方差太大，比如说一个是-10000，一个是+110000，计算精度不够的时候，前者就被舍入到0，后者就被舍入到1了，我采取的解决方法就是数据归一化
softmax和sigmoid的关联
- reference
- 知乎：Softmax函数和Sigmoid函数的区别与联系
三个角度看待softmax：
- softmax将输入向量归一化映射到一个类别概率分布
- softmax可以当max的一种平滑近似
- 概率图的理解，暂时还不是很理解
diff
- 模型输出为非互斥类别，且可以同时选择多个类别，则采用Sigmoid函数计算该网络的原始输出值；模型输出为互斥类别，且只能选择一个类别，则采用Softmax函数计算该网络的原始输出值。所以，Sigmoid函数可以用来解决多标签问题，Softmax函数用来解决单标签问题。
- 对于某个分类场景，当Softmax函数能用时，Sigmoid函数一定可以用
如果是非互斥标签，放在一起softmax意义是不大的。
二分类场景下，softmax可以退化成sigmoid，但是输入层(前者是2个，后者是一个)还是不一样的，对应的物理意义也是不一样的
全部讲解看这个 stackExchange，简易版讲解看如下：
总结来说，二分类的时候，softmax和sigmoid的建模能力是一样的，但是softmax会有更多的参数，所以还不如直接用sigmoid更有利于优化。
softmaxsigmoid相关推荐
- 霸榜COCO和Cityscapes！南理工CMU提出极化自注意力，更精细的双重注意力建模结构
作者丨小马 编辑丨极市平台 [写在前面] 注意力机制是一个被广泛应用在各种CV任务中的方法.注意力机制根据施加的维度大致可以分为两类:通道注意力和空间注意力.对于通道注意力机制,代表性的工作有SENe ...
- 机器学习之最小二乘法
欢迎关注笔者的微信公众号 最小二乘法(又称最小平方法)是一种数学优化技术.它通过最小化误差的平方和寻找数据的最佳函数匹配.利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差 ...
最新文章
- 编译型语言和解释型语言(转载)
- HTML5移动应用开发入门经典 中文pdf扫描版
- C#之CLR内存原理初探
- MmGetSystemRoutineAddress和MiFindExportedRoutineByName函数的实现代码
- 通过递归算法完成树的级联勾选的一般思路
- VMware中为linux设置网络
- mathematica 可编辑pdf_Mathematica学习笔记[1]
- Codeforces Beta Round #7 C. Line (扩展欧几里德)
- MySQL 5.7 基于GTID的半同步复制
- openresty nginx php,diy 你的nginx-OpenResty
- 视觉slam第一讲——
- 使用Apache Ignite构建C++版本的分布式应用
- 物料移动类型和后勤自动科目设置-SAP屠夫
- django视图(views)
- CubeMX编写风力摆控制系统[HAL库]
- 经典论文之OverFeat
- jsp统计页面访问量和刷访问量的简单使用
- 什么是公网ip？--快解析科普
- PCL教程-使用CloudViewer类实现简单点云可视化
- [QNX Hypervisor 2.2用户手册]10.4 vdev hpet