计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?

问题

ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?

问题背景

这是在阿里的机器学习岗一面的时候问的一个问题，最开始的问题是“为什么机器学习中解决回归问题的时候一般使用平方损失（即均方误差）？”。

当时我的回答是损失函数是是模型预测值与真实值之间的一种距离度量，我们可以计算出每个样本的预测值与真实值之间的距离，全部加起来就得到了所谓的损失函数。而距离的度量可以采用预测值与真实值之间差的绝对值，或者两者之差的平方，当然更高次的也行，只要你喜欢。正如问题所述，为什么我们一般使用的是两者之差的平方而不是两者只差的绝对值呢？其实这与模型的求解相关，举最简单的线性回归为例，如果采用的距离是两者之差的绝对值，那么求解的目标函数如下：
( ω ∗ , b ) = a r g

计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?相关推荐

forward函数——浅学深度学习框架中的forward
1.什么是forward函数 (本应该出一篇贯穿神经网络的文章的,但是由于时间关系,就先浅浅记录一下,加深自己的理解吧吧). forward 函数是深度学习框架中常见的一个函数,用于定义神经网络的前向 ...
深度学习激活函数中的线性整流函数ReLU及其变种
线性整流函数ReLU 线性整流函数(Rectified Linear Unit, ReLU),又称修正线性单元, 是一种人工神经网络中常用的激活函数(activation functi ...
从0开始，基于Python探究深度学习神经网络
来源 | Data Science from Scratch, Second Edition 作者 | Joel Grus 全文共6778字,预计阅读时间50分钟. 深度学习 1. 张量 2. ...
TensorFlow2.0实战：入门到进阶深度学习
TensorFlow2.0 入门到进阶课程以Tensorflow2.0框架为主体,以图像分类.房价预测.文本分类等项目为依托,讲解Tensorflow框架的使用方法,同时学习到相关的深度学习/机器学 ...
从0到1，Airbnb的深度学习实践经验总结
作者 | Haldar 译者 | 陆离出品 | AI科技大本营(ID: rgznai100) 此前,AI科技大本营发布了关于希望通过介绍的研究成果为读者提供一些有用的帮助和指引. 模型中的生态系统 ...
ubuntu16.04+七彩虹GTX1060的NVIDIA驱动+Cuda8.0+cudnn5.1+tensorflow+keras搭建深度学习环境【学习笔记】【原创】
平台信息: PC:ubuntu16.04.i5.七彩虹GTX1060显卡作者:庄泽彬(欢迎转载,请注明作者) 说明:参考了网上的一堆的资料搭建了深度学习的开发环境,下班在宿舍折腾了好几个晚上才搞定, ...
深度学习论文导航 | 06 SSP-Net：深度卷积网络中的空间金字塔池用于视觉识别
前言:这是一篇比较老的文章了,是何恺明大神于2015年在IEEE上发表的,到目前为止被引用量已经达到2038.SPP-Net是一种可以不用考虑图像大小,输出固定长度的特征向量的网络结构,并且可以做到在 ...
深度学习网络各种激活函数 Sigmoid、Tanh、ReLU、Leaky_ReLU、SiLU、Mish
激活函数的目的就是为网络提供非线性化梯度消失:梯度为0, 无法反向传播,导致参数得不到更新梯度饱和:随着数据的变化,梯度没有明显变化梯度爆炸:梯度越来越大,无法收敛梯度消失问题: 1.反向传播 ...
l2高斯分布_L1和L2正则的区别，如何选择L1和L2正则？L1在0处不可导，怎么处理...
首先毫无疑问的,他们都是可以防止过拟合,降低模型复杂度 L1是在loss function后面加上模型参数的1范数(也就是|xi|)L0范数的最小化问题在实际应用中是NP难问题,无法实际应用.L2是在 ...

计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?

问题

问题背景

计算机视觉 | 面试题：06、ReLU函数在0处不可导，为什么在深度学习网络中还这么常用?相关推荐

最新文章

热门文章