损失函数及对应的任务（待续）
神经网络逼近特性的好坏，损失函数承担着十分重要的作用。对于神经网络构建人员来说，针对具体任务去理解和选择恰当的损失函数是最重要的技能。
深度学习=网络+loss+数据
显式损失函数：
一，L1 损失（绝对误差）：用于回归任务 ，检测任务。
二，L2 损失（平方误差）：与 L1 类似，但对于异常值更加敏感 。
三，交叉熵误差：通常用于分类任务 。
四，Dice 损失 (IoU) ：用于分割任务 （语义或实体分割）。
五，KL 散度：用于衡量两种分布之间的差异。
隐式损失函数
六，GAN 作为损失函数。
Alpha-GAN 架构，白色框代表输入，粉色框和绿色框代表你想构建的网络，蓝色框代表损失函数。
在 Alpha-GAN 中，模型有 3 种损失函数：输入数据的判别器 D、用于已编码潜变量的潜码判别器 C，以及传统像素级 L1 损失函数。其中，D 和 C 并不是显式损失函数，而只是其近似──神经网络。
如果将判别器（同样也是神经网络）作为损失函数来训练生成器网络（与 Alpha-GAN 的编码器），那么用什么损失函数来训练判别器呢？
判别器的任务是区分真实数据分布与生成数据分布。用监督方式训练判别器时，标签可随意使用，所以采用二元交叉熵等显式损失函数训练判别器就很简单。
但由于判别器是生成器的损失函数，这代表判别器的二元交叉熵损失函数的累积梯度同样会被用于更新生成器网络。
七，GAN的损失函数及训练
G是生成器，D是辨别器，生成器的训练是损失函数望小，辨别器的的训练是损失函数望大。GAN是单独交替迭代训练的，所以这个目标函数也是分别对判别器和生成器进行优化的，首先对判别器进行优化，
其中D（X）表示对真实的样本进行判别，这里，我们希望它的判别结果越接近于1越好，所以损失函数为log（D（x）)，而z是随机的输入，G(z)表示生成的样本，对于生成的样本，我们希望判别器的判别结果D（G（z））越小越接近于0越好，也就是让总数值最大。
在完成对判别模型的优化之后，便是对生成模型进行优化，在这里，生成模型的优化很简单，只需要让判别的结果D（G(z)）接近于1就可以了，也就是让总数值最小。
损失函数及对应的任务（待续）相关推荐
- DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs 阅读笔记
DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pairs 阅读笔记 引言 ...
- yolo-mask的损失函数l包含三部分_损失函数总结-应用和trick
常见的损失函数,如交叉熵损失.平方误差损失.Hinge损失等并不是本文的重点,关于这些损失函数的介绍网上很多,可以参考如下几篇文章 机器学习中的 7 大损失函数实战总结 常见的损失函数(loss fu ...
- Paper之BigGAN：ICLR 2019最新论文《LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS》(未完待续)
Paper之BigGAN:ICLR 2019最新论文<LARGE SCALE GAN TRAINING FOR HIGH FIDELITY NATURAL IMAGE SYNTHESIS> ...
- 【机器学习基础】机器学习的损失函数小结
本文为机器学习基础 第一篇 2020这个充满变化的不平凡的一年过去了,孕育着希望和机遇的2021即将到来,在此祝愿所有朋友幸福美满,蒸蒸日上,心想事成,欢喜如意,新年快乐! 最近比较忙,好长时间没更新 ...
- 深度学习（三十四）对抗自编码网络-未完待续
占坑,未完待续-- 上面是网络结构.上半部分是一个自编码结构,给定输入数据X,我们经过编码层,可以得到编码层的数据分布q(z|x)的一个采样潜变量编码z.在以前我们的自编码分布q(z|x)是固定的,现 ...
- Pyotorch自定义损失函数
1.损失函数知识总结参考: 深度学习笔记总结_GoAI的博客-CSDN博客 PyTorch 笔记.常见的PyTorch损失函数 - 知乎 Pytorch神经网络实战学习笔记_10 神经网络模块中的损失 ...
- 目标检测中的BBox 回归损失函数-L2，smooth L1，IoU，GIoU，DIoU，CIoU，Focal-EIoU，Alpha-IoU，SIoU
目标检测的两个任务,分类和位置回归,本帖将经典的位置回归损失函数总结如下,按发表时间顺序. L1.L2.smooth L1 loss 提出smooth L1 loss的论文: L1最低点是不可导的,所 ...
- 损失函数减肥用_神经网络调权重（深度学习入门系列之六）
原文链接 更多深度文章,请关注云计算频道:https://yq.aliyun.com/cloud 系列文章: 一入侯门"深"似海,深度学习深几许(深度学习入门系列之一) 人工&qu ...
- 多标签学习之讲座版 (内部讨论, 未完待续)
摘要: 多标签学习是一种常见的, 而并非小众的机器学习问题. 本贴为专题讲座准备. 1. 基本数据模型 定义1. 多标签数据为一个二元组: S=(X,Y),(1)S = (\mathbf{X}, \m ...
最新文章
- 归一化 vs 标准化 定量的分析
- 生物版AlphaGo发威！DeepMind出手抗疫：预测多种新冠病毒相关蛋白结构
- ORA-38301:can not perform DDL/DML over objects in Recycle Bin
- 成功解决C4996: ‘fopen‘: This function or variable may be unsafe. Consider using fopen_s instead
- ajax burp 乱码,burp suite中国乱码的解决方案
- C++基础：各种输入方法总结
- JDBC实例--JDBC连接池技术解密，连接池对我们不再陌生
- 网络定位-能定位到国家省份市区县街道
- 天池 在线编程 圣杯咒语
- Draconian，自由或保姆状态：Java，C＃，C，C ++，Go和Rust中的并发意识形态
- Python中的匿名函数及递归思想简析
- 对桌面壁纸有要求？壁纸控的你需要看这里
- 过滤CString字符串中各位是数字，大小写字母，符号，汉字
- linux编程基础黑马要点总结,黑马《linux基础编程》学习笔记（从6到10）
- kali升级python3.6_kali下将Python2.x切换至Python3.x
- java swnig 太极,iOS 13 系统那些好玩的桌面小组件
- 基本的http压力测试工具
- Chrome 开发者工具 network 显示 Provisional headers are shown 的几种原因
- Unity3D入门（三）：游戏场景制作 3D 模型基础
- 如何管理好一个研发管理团队