关于rnn神经网络的loss函数的一些思考

---

做了这么长时间的基于深度学习的NLP，愈发可以感受到bayesian的意思，语言模型里面一切皆是分布，问题答案都是分布，一个问题模拟出来的是一个答案的分布；

我觉得我做的最好的一个聊天模型，就是先将问题表示成一个100维的高斯分布，然后计算各个答案跟这个分布的契合概率，当然这个模型肯定不能放出来，但是这种思想可以延伸出去，也希望有兴趣的朋友跟我探讨探讨，jy2641@columbia.edu.

---

0: 原则上，loss函数都应该选convex函数，convex函数的定义就是函数上方得点是一个convex集合

1: 之前使用的0-1的数据预测正负样本，loss函数选用的是cross entropy loss，

实际上这里的0-1 cross entropy和seq2seq的softmax cross entropy都是使用的log函数算的loss，

但是最近看到有人说，在seq2seq里面使用MSE， mean square error比softmax cross entropy要好很多，

遂作下图，可以观察比较一下各个不同的loss函数；

下面是对于分类里面的三种常见的loss的比较，函数形式是

x: predicted - true value的绝对值

log_loss = -np.log(1- x + 1e-12)

mse = x*x

abs_loss = x

我的感觉是，类别非常多，或者越不能准确预测某一类的值的时候，不要用log loss

2: 对于刚刚做的问答匹配采用正样本和负样本之间的cosine差值的loss；

loss = max(0, 0.2 - cosine(question, true answer) + cosine(question, negative answer))

之所以有效，可能是为了防止模型过多关注那些泾渭分明的case，而不去关注那些true answer 和 negative answer很模糊的case；

转载于:https://www.cnblogs.com/LarryGates/p/6561493.html

关于rnn神经网络的loss函数的一些思考相关推荐

银行股价预测——基于pytorch框架RNN神经网络
银行股价预测--基于pytorch框架RNN神经网络任务目标数据来源完整代码流程分析 1.导包 2.读入数据并做预处理 3.构建单隐藏层Rnn模型 4.设计超参数,训练模型 5.加载模型,绘图 ...
tensorflow学习（4.loss函数以及正则化的使用）
本文还是以MNIST的CNN分析为例 loss函数一般有MSE均方差函数.交叉熵损失函数,说明见 https://blog.csdn.net/John_xyz/article/details/6121 ...
Keras自定义Loss函数
Keras作为一个深度学习库,非常适合新手.在做神经网络时,它自带了许多常用的目标函数,优化方法等等,基本能满足新手学习时的一些需求.具体包含目标函数和优化方法.但它也支持用户自定义目标函数,下边介绍 ...
深度学习中的损失函数总结以及Center Loss函数笔记
北京上海巡回站 | NVIDIA DLI深度学习培训 2018年1月26/1月12日 NVIDIA 深度学习学院带你快速进入火热的DL领域阅读全文 ...
《深度学习笔记》——loss函数的学习笔记
1 loss的作用在南溪看来,loss函数是对目标target和预测prediction之间的一种距离度量的公式: 2 loss函数的设计原则此设计原则参考了距离的定义,(注意:距离跟范数是两个概 ...
tensorflow分类的loss函数_Tensorflow Keras的loss函数总结
一.二分类与多分类交叉熵损失函数的理解交叉熵是分类任务中的常用损失函数,在不同的分类任务情况下,交叉熵形式上有很大的差别, 二分类任务交叉熵损失函数: 多分类任务交叉熵损失函数: 这两个交叉熵损失函 ...
一文总结Keras的loss函数和metrics函数
Loss函数定义: keras.losses.mean_squared_error(y_true, y_pred) 用法很简单,就是计算均方误差平均值,例如 loss_fn = keras.loss ...
【文献阅读】医学图像分割中的loss函数选择-Loss odyssey in medical image segmentation loss
参考文献:Loss odyssey in medical image segmentation loss 函数代码库 github-SegLoss 本文在四个典型的三维分割任务上对20个一般的损失函数 ...
利用RNN神经网络自动生成唐诗宋词
RNN(Recurrent Neural Networks)在处理长序列有很强的优势,加上近来前向反馈算法的成功,导致RNN在长文本上得到了很好的应用. 简单来说RNN神经网络能够记 ...
聊一聊CNN中的感受野、优化函数、激活函数、Loss函数等
目录: 1.感受野 2.优化函数 3.激活函数 4.loss 函数. 前言文章有点长,内容有点丰富,基本涵盖整个深度卷积神经网络,涉及网络中的感受野.激活函数.loss函数以及各种相关知识. Pa ...

关于rnn神经网络的loss函数的一些思考

关于rnn神经网络的loss函数的一些思考相关推荐

最新文章

热门文章