大道至简:算法工程师炼丹Trick手册
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
作者丨时晴
来源丨炼丹笔记
编辑丨极市平台
Focal Loss
针对类别不平衡问题,用预测概率对不同类别的loss进行加权。Focal loss对CE loss增加了一个调制系数来降低容易样本的权重值,使得训练过程更加关注困难样本。
loss = -np.log(p) loss = (1-p)^G * loss
Dropout
随机丢弃,抑制过拟合,提高模型鲁棒性。
Normalization
Batch Normalization 于2015年由 Google 提出,开 Normalization 之先河。其规范化针对单个神经元进行,利用网络训练时一个 mini-batch 的数据来计算该神经元的均值和方差,因而称为 Batch Normalization。
x = (x - x.mean()) / x.std()
relu
用极简的方式实现非线性激活,缓解梯度消失。
x = max(x, 0)
Cyclic LR
每隔一段时间重启学习率,这样在单位时间内能收敛到多个局部最小值,可以得到很多个模型做集成。
scheduler = lambda x: ((LR_INIT-LR_MIN)/2)*(np.cos(PI*(np.mod(x-1,CYCLE)/(CYCLE)))+1)+LR_MIN
With Flooding
当training loss大于一个阈值时,进行正常的梯度下降;当training loss低于阈值时,会反过来进行梯度上升,让training loss保持在一个阈值附近,让模型持续进行“random walk”,并期望模型能被优化到一个平坦的损失区域,这样发现test loss进行了double decent。
flood = (loss - b).abs() + b
Group Normalization
Face book AI research(FAIR)吴育昕-恺明联合推出重磅新作Group Normalization(GN),提出使用Group Normalization 替代深度学习里程碑式的工作Batch normalization。一句话概括,Group Normbalization(GN)是一种新的深度学习归一化方式,可以替代BN。
def GroupNorm(x, gamma, beta, G, eps=1e-5): # x: input features with shape [N,C,H,W] # gamma, beta: scale and offset, with shape [1,C,1,1] # G: number of groups for GN N, C, H, W = x.shape x = tf.reshape(x, [N, G, C // G, H, W]) mean, var = tf.nn.moments(x, [2, 3, 4], keep dims=True) x = (x - mean) / tf.sqrt(var + eps) x = tf.reshape(x, [N, C, H, W]) return x * gamma + beta
Label Smoothing
abel smoothing将hard label转变成soft label,使网络优化更加平滑。标签平滑是用于深度神经网络(DNN)的有效正则化工具,该工具通过在均匀分布和hard标签之间应用加权平均值来生成soft标签。它通常用于减少训练DNN的过拟合问题并进一步提高分类性能。
targets = (1 - label_smooth) * targets + label_smooth / num_classes
Wasserstein GAN
彻底解决GAN训练不稳定的问题,不再需要小心平衡生成器和判别器的训练程度
基本解决了Collapse mode的问题,确保了生成样本的多样性
训练过程中终于有一个像交叉熵、准确率这样的数值来指示训练的进程,数值越小代表GAN训练得越好,代表生成器产生的图像质量越高
不需要精心设计的网络架构,最简单的多层全连接网络就可以做到以上3点。
Skip Connection
一种网络结构,提供恒等映射的能力,保证模型不会因网络变深而退化。
F(x) = F(x) + x
参考文献:
https://www.zhihu.com/question/427088601
https://arxiv.org/pdf/1701.07875.pdf
https://zhuanlan.zhihu.com/p/25071913
https://www.zhihu.com/people/yuconan/posts
点个在看 paper不断!
大道至简:算法工程师炼丹Trick手册相关推荐
- 【通知】有三AI更新420页14万字视觉算法工程师成长指导手册,可下载收藏打印...
各位同学,可还记得我们发布的<深度学习视觉算法工程师成长指导手册>,现在更新了,超过14万字,420页文档,可下载收藏打印,目录如下,文末提供了下载方式. 手册简介 目前深度学习在图像,语 ...
- 有三AI发布360页11万字深度学习CV算法工程师成长指导手册,可下载收藏打印,未完待续...
文/编辑 | 言有三 字少事大,各位同学,今天有三AI平台发布<深度学习视觉算法工程师成长指导手册>,超过11万字,360页word文档,可下载收藏打印,且还有大约1/3内容并未完结,最终 ...
- 算法工程师掌握了这个炼丹技巧的我开始突飞猛进
文 | 夕小瑶 从不拖稿的小夕今天在知乎上刷到一个问题: 哈?一向求真务实.高逼格讨论的知乎画风怎么突然就不一样了. 我以为回答区会有这张图: ▲如来神掌 结果竟然没有!知乎果然没有让我失望,还是一如 ...
- 如何跟随有三从零进阶中级CV算法工程师
再过一段时间可能就要迈出成为真正的创业者的关键一步了,有三AI夏季划再招一些学生作为人才储备,同时也是带一些人真正系统性成为深度学习CV算法工程师. 文/编辑 | 言有三 为什么做季划 为什么要搞季划 ...
- 2020年推荐系统工程师炼丹手册RecSys版
作者:一元 公众号:炼丹笔记 上卷内容: 2020年推荐系统工程师炼丹手册第二册上卷 Learning to Collaborate in Multi-Module Recommendation vi ...
- ConvNeXt:2022年CV算法工程师抄作业必备手册!
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 作者 | 镜子@知乎(已授权) 转载自 | 极市平台 来源 | https://zhuanlan.zhih ...
- 开源!《AI 算法工程师手册》中文教程正式发布!
作者 | 红色石头 转载自 AI有道(id:redstonewill) 最近红色石头在浏览网页的时候,偶然发现一份非常不错的 AI 资源,就是这本<AI 算法工程师手册> .本文将给大家推 ...
- 《深度学习,统计学习,数学基础》人工智能算法工程师手册:程序员写的AI书,50 章一网打尽...
来源:专知 本文约3400字,建议阅读10+分钟. 免费开源人工智能手册,带你快速上手写代码! [ 导读 ]市面上很多人工智能相关的书籍.大部分的书,面向小白,内容深度不够:小部分教材书或者科研书,内 ...
- 算法工程师的必备学习资料,《AI算法工程师手册》正式开源了
2019-05-14 23:41:00 前言 最近前阿里的一位工程师开源了一份网页版的算法工程师学习手册,没有纸质版的图书,直接在线开源,小编去看看了一下,总结的非常到位,几乎涵盖的机器学习.深度学习 ...
最新文章
- 【负载均衡】揭开F5 BIG-IP的神秘面纱(一)
- Python遍历列表时删除元素
- phpbreak跳出几层循环_php中break如何跳出多重循环的示例代码
- Jenkins file一行代码部署.NET程序到K8S
- day46-CSS3新增功能
- PHP中的预定义常量、预定义变量、魔术常量
- SVM多分类的几种方式
- 计算机test的应用,例举内存检测工具memtest详细使用教程
- 微信点餐系统技术总结
- 计算机的最简单的操作,电脑无线投屏怎么使用(手把手教你最简单且实用的操作方法)...
- Android APP打开另一个APP完整逻辑实现
- python2.x 获取网页内容
- 游戏运行库microsoft visual c++ 2010 spi 64检测不到
- 绘制自己的人际关系图_matlab能绘制人际关系网络图吗?
- 计算机 玩体感游戏,电脑也能玩体感游戏了 微软推出Windows版Kinect
- matlab留学生作业代做,代写Canvas留学生作业、MatLab编程语言作业调试、MatLab实验作业代做、代写program课程作业...
- [keil5]从AC5到AC6的转变
- 如何使用脚本语言将typora的内容自动同步到gitee上
- single-shot detection(SSD)目标检测算法详解——(一看就懂系列!!!)
- SQL中的PRIMARY KEY(PK)(主键)和Foreign Key (FK)(外键解析