分类

如果class用 1 2 3表示不妥并不一定有关联性 ——> 把class用one-hot来表示

分类一般在最后会加上Soft-max函数：
yi′=exp⁡(yi)∑jexp⁡(yi)y_{i}^{\prime}=\frac{\exp \left(y_{i}\right)}{\sum_{j} \exp \left(y_{i}\right)} yi′=∑jexp(yi)exp(yi)
满足：
0<yi′<1∑iyi′=1\begin{aligned} &0 < y_{i}^{\prime}< 1 \\ &\sum_{i} y_{i}^{\prime}=1 \end{aligned} 0<yi′<1i∑yi′=1
如果只有两类，用Sigmoid函数（相同效果）

损失函数
均方差交叉熵
为什么分类中cross entropy更好（当然可以采用Adam等方法也许可以改进，使得可以train到右下角），所以Loss function 也会影响到训练

Pytorch 中 cross entropy内嵌了softmax

Batch Normalization

当我们输入feature，每个维度上数值差距很大时就会产生不个方向斜率非常不同的Error surface
解决方法：让feature里不同的dimension，有同样的数值范围
x1,x2,x3,...,xr,...,xR\begin{array}{lllll}x^{1},x^{2},x^{3},...,x^{r},...,x^{R}\end{array}x1,x2,x3,...,xr,...,xR是所有 feature，对同一个dimension里不同的feature的数值计算平均，标准差，进行标准化

考虑深度学习，那么第一层输出后，是否不同维度又有不同分布了，继续标准化

实际，我们不会考虑所有training data，而只是考虑一个batch里的data ===> Batch Normalization
适用于batch size 比较大时

一般标准化后还会进一步操作（回复一些数据特征？）：z^i=γ⊙z~i+β\hat{\mathbf{z}}^{i}=\gamma \odot \tilde{z}^{i}+\betaz^i=γ⊙z~i+β 这是两个参数，学习出来的

在测试时，μ,σ\mu, \sigmaμ,σ用的是训练阶段得到的moving average，而不用再次计算

**BN作用：解决Internal Covariate Shift（内部协方差偏移问题），改变Error surface，使得没有那么崎岖 **

别的Normalization：

上面BN部分还需完善

DatawhaleLeeML-Task05-网络设计的技巧第二部分相关推荐

【11月组队学习】网络设计的技巧
写在前面:机器学习的trick非常多,在训练模型的时候如何判断哪些trick有效更加重要. 关于Local minima和Saddle point 在深度学习等搭建的多参数模型中,更多的是可逃离的sa ...
GOOGLE HACKS巧妙使用网络搜索的技巧和工具（第二版）已经出版(上)--IT man
Csdn-Blog <script language="javascript" src="http://www.023rcsc.com/count/count2.a ...
《GOOGLE HACKS巧妙使用网络搜索的技巧和工具（第二版）》
全书分为网页.高级网页.图像.新闻组和论坛.附加功能.Gmail.广告.Web管理和Google编程9章,不仅阐述了用Google搜索的方方面面,而且能帮你最大程度地挖掘Google的潜能,即挖掘出每 ...
GOOGLE HACKS巧妙使用网络搜索的技巧和工具（第二版）已经出版
全书分为网页.高级网页.图像.新闻组和论坛.附加功能.Gmail.广告.Web管理和Google编程9章,不仅阐述了用Google搜索的方方面面,而且能帮你最大程度地挖掘Google的潜能,即挖掘出每 ...
深度网络设计技巧(五)之VAN：Visual Attention Network#超越Swin的纯CNN#
单位:清华,南开(程明明团队) ArXiv:https://arxiv.org/abs/2202.09741 Github: https://github.com/Visual-Attention-N ...
用户界面设计的技巧与技术（作者Scott W．Ambler）
对大多数人来说,用户界面就是软件本身.所以,掌握用户界面设计的技巧与技术是让软件走向市场的最直观因素.原文来源于http://WWW.ambysoft.com/userInterfaceDesign. ...
20169214 2016-2017-2《网络攻防实践》第二周学习总结
20169214 2016-2017-2 <网络攻防实践>第二周学习总结教材学习内容总结第一章要点: 要点1:分清黑客与骇客,提倡在掌握技术的同时,还要遵循黑客道德与法律法规. 要点2 ...
UI界面如何制作？这些版式设计小技巧收藏好！
本文由:"学设计上兔课网"原创,图片素材来自网络,仅供学习分享 UI界面如何制作?这些版式设计小技巧收藏好!在做UI界面的时候,很多时候我们需要去看很多的产品进行竞品分析.市场调研 ...
超越EfficientNet，GPU上加速5倍，何恺明组CVPR 2020论文提出新型网络设计范式
选自arXiv 作者:Ilija Radosavovic等机器之心编译机器之心编辑部近日,何恺明大神组又发了一篇新论文,提出了一种新的网络设计范式.与以往研究不同,他们没有专注于设计单个网络实例 ...
大白话聊聊 Kafka 的架构原理和网络设计，它的性能高在什么地方？
一.Kafka基础消息系统的作用应该大部分小伙伴都清楚,用机油装箱举个例子所以消息系统就是如上图我们所说的仓库,能在中间过程作为缓存,并且实现解耦合的作用. 引入一个场景,我们知道中国移动,中国 ...

DatawhaleLeeML-Task05-网络设计的技巧第二部分

Datawhale LeeML-Task05-网络设计的技巧第二部分

分类

Batch Normalization

DatawhaleLeeML-Task05-网络设计的技巧第二部分相关推荐

最新文章

热门文章