AI学习笔记——Bias and Variance tradeoff (方差偏差的平衡)

上一篇文章介绍了机器学习中需要理解的几个重要概念，这些概念在训练模型的过程中至关重要，尤其是Bias 和 Variance 的分析，关系到在机器学习的过程的实际操作中，如何优化训练模型。

1、Bias and Variance tradeoff的最简单方法

当Bias很高的时候，就增加模型的复杂度（比如增加神经网络的神经元个数，神经网络的层数）
当Variance很高的时候，就增加训练的样本量。

然而以上的原则只是一个大的指导方向，因为在实际操作中增加模型的复杂程度将会大大增加计算机的计算量，而且还容易造成Overfitting。下面详细介绍在实际操作中处理Bias 和 Variance 的具体方法。

2、减少Bias的几大原则

增加模型复杂度
根据误差分析结果，调整输入特征(feature)
减少或者去除Regularization(正则化)
修改模型结构
增加更多的训练样本

3、减少Variance的几大原则

增加更多的训练样本
增加Regularization(正则化)
加入提前终止(Early Stopping)
选择性减少输入的特征(Features)
减小模型规模
根据误差分析结果，调整输入特征(feature)
修改模型结构

有上面的分析可见，有些策略对减少Bias 和 Variance 都同时有用的，比如增加更多的训练样本；根据误差分析结果，调整输入特征(feature)；修改模型结构。然而有些策略对于减少Bias 或 Variance是相互矛盾的。

本笔记参考自人工智能大神 Andrew Ng（吴恩达）的相关课程，在这里表示感谢和致敬。

————
相关文章
AI学习笔记——循环神经网络（RNN）的基本概念
AI学习笔记——神经网络和深度学习
AI学习笔记——卷积神经网络1（CNN）
————
文章首发steemit.com 为了方便墙内阅读，搬运至此，欢迎留言或者访问我的Steemit主页

AI学习笔记——Bias and Variance tradeoff (方差偏差的平衡)相关推荐

AI学习笔记（七）图像滤波器、OpenCV算法解析
AI学习笔记之图像滤波器.OpenCV算法解析图像滤波器图像噪声噪声的产生信噪比高斯噪声椒盐噪声其他噪声图像滤波滤波的目的滤波的要求各种滤波器均值滤波中值滤波最大最小值滤波 ...
AI学习笔记（三）特征选择与提取、边缘提取
AI学习笔记之特征选择与提取.边缘提取 1.特征选择 (1)特征的概念 (2)为什么要做特征选择 (3)什么是特征选择 (4)怎么做特征选择 (5)特征选择算法 (6)搜索方法 2.特征提取 (1)特 ...
AI学习笔记（十一）CNN之图像识别(上）
AI学习笔记之CNN之图像识别(上) 图像识别图像识别简介模式识别图像识别的过程图像识别的应用分类与检测 VGG Resnet 迁移学习&inception 卷积神经网络迁移学习fi ...
AI学习笔记（四）相机模型、图像聚类算法
AI学习笔记之相机模型.图像聚类算法相机模型相机与图像坐标系相机成像世界坐标系到摄像机坐标系摄像机坐标系到图像物理坐标系图像物理坐标系到图像像素坐标系摄像机坐标系到图像像素坐标系世界 ...
AI学习笔记--人机对话的四种形态
AI学习笔记--人机对话的四种形态 ><div class="show-content-free"><p>最近在筹备转行 AI PM 由于之前的产品线 ...
AI学习笔记（十五）自然语言处理基本概念
目录 AI学习笔记之自然语言处理自然语言处理(Natural Language Processing) 自然语言简介自然语言处理的难点自然语言处理的现状基于深度学习的自然语言处理 NLP的处理 ...
AI学习笔记（十四）CNN之图像分割
AI学习笔记之CNN之图像分割图像分割问题引入实现技术手段及分类语义分割-FCN(Fully Convolutional Networks) FCN--deconv 反卷积的具体步骤 Unpo ...
AI学习笔记（十三）CNN之人脸检测
AI学习笔记之CNN之人脸检测人脸检测人脸检测概念人脸检测的难点人脸检测的主要用途 mtcnn 主要步骤构建图像金字塔 P-Net(Proposal Network) R-Net(Refin ...
AI学习笔记（十一）CNN之图像识别(下）
AI学习笔记之CNN之图像识别(下) 图像识别图像识别简介模式识别图像识别的过程图像识别的应用分类与检测 VGG Resnet 迁移学习&inception 卷积神经网络迁移学习fi ...

AI学习笔记——Bias and Variance tradeoff (方差偏差的平衡)

1、Bias and Variance tradeoff的最简单方法

2、减少Bias的几大原则

3、减少Variance的几大原则

AI学习笔记——Bias and Variance tradeoff (方差偏差的平衡)相关推荐

最新文章

热门文章