三个变量中怎么找出中间值_一文理解神经网络中的偏差和方差

在深度学习中，数据过拟合，欠拟合的问题很常见，先总结一下：过拟合称为高方差，欠拟合称为高偏差。

可能只看偏差，方差不是很理解，下面先来个百度百科看一下。

偏差(统计学概念)

偏差又称为表观误差，是指个别测定值与测定的平均值之差，它可以用来衡量测定结果的精密度高低。在统计学中，偏差可以用于两个不同的概念，即有偏采样与有偏估计。一个有偏采样是对总样本集非平等采样，而一个有偏估计则是指高估或低估要估计的量

方差

方差是在概率论和统计方差衡量随机变量或一组数据时离散程度的度量。概率论中方差用来度量随机变量和其数学期望(即均值)之间的偏离程度。统计中的方差(样本方差)是每个样本值与全体样本值的平均数之差的平方值的平均数。在许多实际问题中，研究方差即偏离程度有着重要意义。

方差是衡量源数据和期望值相差的度量值。

看到这两个解释我就晕了，跟神经网络中的偏差，方差还是有些区别的，下面先看一下偏差和方差是什么样子，然后再说一下我的理解。

最左边的图是一个高偏差状态，中间的是适度拟合，也是我们想要达到的状态，右图是一个高方差的状态。

偏差，是指预测结果和真实值之间的差异，在神经网络中，如果神经网络模型过于简单，层数很少，神经模型无法学习到样本的特征，假设我们要拟合上图的数据，简单的网络拟合的结果可能就是上图最左边，结果就是一种高偏差的状态，在图中表现成了一条近似线性的直线，几乎没有拟合数据。很多数据被错误的分类。这不是我们想要的结果。

方差，如果我们用了一个比较深度很深，隐藏节点很多的一个复杂的分类器去拟合上图的数据集，大而深的神经网络可以充分学习到样本的特征，但是设置不好就会得到上图最右边的结果，我们称之为高方差，有的人可能会问了，这个不是拟合的最好吗，为什么中间拟合的结果是我们最想要的呢？

举个例子，假如上图是肿瘤和年龄的数据，横轴是年龄，纵轴是肿瘤大小，左下方是阴性(非肿瘤)，右上方是阳性(肿瘤)，右图拟合进入阴性的那个最上方的很显然是阳性概率更大一些，但是这个分类器却分为阴性，而最下方的X这个数据，更靠近阴性，所以是阴性的概率更大一些，却分类为阳性，所以这种分类结果也是我们不想要的。

重点来了

为了更好的理解高方差和高偏差，我打个比方，把神经网络比作学生，训练集样本比作试卷中的试题(每个试卷中都有几个偏题，怪题)，训练神经网络就是等同于让学生通过给的试卷来找出其中题目的规律，之后让神经网络识别为其他样本数据就相当于用其他试题来考学生的学习情况，如果学生通过这套试卷的学习，除了偏题，怪题之外的题目都能做对，表明学生对试卷中的题目掌握到了其中的规律，在神经网络中就是适度拟合，就是我们想要的结果，如果学生做题很多都错了，说明学生没有对训练题目有很好的掌握，在神经网络中就表现为欠拟合，如果学生做了满分，但是换了其他试卷就做不到满分了，因为不同的试卷偏题怪题是不一样的，这在神经网络中叫做过拟合。怎么样，这样一类比，是不是很清楚了？

目前对于偏差和方差常见的解决方法有两个，一个是正则化，另一个是用更多的数据，第二种方法就像是考试，见得题多了，解的题多了，自然见到其他的题也能轻松解决，神经网络也是一样，需要给他喂入更多的数据，让它从中找出规律。

三个变量中怎么找出中间值_一文理解神经网络中的偏差和方差相关推荐

三个变量中怎么找出中间值_scratch图形化编程基础练习-变量交换
各位网友大家好,关于变量交换的问题是学习编程的一个必然过程.不论是大学学习C/C++还是其他程序语言对于大多数初学者来说都经历过这样的过程.在电脑世界里面,一个变量就好比一个盘子只能放一个苹果,另一个 ...
在统计学中参数的含义是指_第一篇理解统计学中的基本概念
统计学(stastics)是收集.分析和解释数据的科学. 描述统计(descriptive statistics)是研究数据还搜集.整理和描述的统计分支.描述统计的内容包括取得所需要的数据.用图表形式 ...
在有限多的不大于100的正整数中，找出尽量多个相加起来值介于98～102之间的组合...
问题描述:<?XML:NAMESPACE PREFIX = O /> 在有限多的不大于100的正整数中,找出尽量多个相加起来值介于98-102之间的组合. 组合的个数限制在2 和3. 比如 ...
编写程序，从键盘输人 10个整数，之间以一个空格隔开，存放在一维数组中。找出值最大和最小的元素，第一行输出最大值及其所在的元素下标，之间以一个空格隔开；第二行输出最小值及其所在的元素下标，之间以一个空
题目:编写程序,从键盘输人 10个整数,之间以一个空格隔开,存放在一维数组中.找出值最大和最小的元素,第一行输出最大值及其所在的元素下标,之间以一个空格隔开;第二行输出最小值及其所在的元素下标,之间以 ...
Excel表格中如何找出并替换数据中某一固定范围内的值（包括空值）
Excel表格中如何找出并替换数据中某一固定范围内的值(包括空值) 一.问题介绍二.方法介绍 1.选中数据 2.按住Ctrl+H键,调出替换窗口 3.输入 " * ",并点击查找 ...
【java】java 如何不使用第三个变量来交换两个数的值
文章目录 1.概述 2.方案 2.1 算术运算 2.2 位运算 1.概述今天是一个悲伤的一天,我的悲伤逆流成河.非常非常的悲伤.主要是有这个一个面试题.如何不使用第三个变量来交换两个数的值. 考官说 ...
找出单身狗_只出现一次的数字Ⅲ
给定一个整数数组 nums,其中恰好有两个元素只出现一次,其余所有元素均出现两次. 找出只出现一次的那两个元素.你可以按任意顺序返回答案. 你的算法应该具有线性时间复杂度.你能否仅使用常数空间复杂 ...
html%3ca%3e标签中有变量,经过代码审计找出网站中的XSS漏洞实战(三)
1.背景笔者此前录制了一套XSS的视频教程,在漏洞案例一节中讲解手工挖掘.工具挖掘.代码审计三部份内容,准备将内容用文章的形式再次写一此,前两篇已经写完,内容有一些关联性,其中手工XSS挖掘篇地址为 ...
海量数据处理：如何从10亿个数中，找出最大的10000个数？（top K问题）
一.问题有 10 亿个不重复的数字,内存中只能放进 1 万个数,怎么找到最大的 10 万个数字? 这道题的思路是,先拿10000个数建堆,然后一次添加剩余元素,如果大于堆顶的数(10000中最小的) ...

三个变量中怎么找出中间值_一文理解神经网络中的偏差和方差

三个变量中怎么找出中间值_一文理解神经网络中的偏差和方差相关推荐

最新文章

热门文章