基础知识 | 近似误差 估计误差
模型假设空间 F \mathcal{F} F的最优解 f ~ = a r g m i n f ∈ F R ( f ) \tilde{f}=\underset{f\in \mathcal{F}}{argmin}R(f) f~=f∈FargminR(f)，假设真实世界的最优解为 f ∗ f^* f∗，我们在假设空间中的通过算法得到的最优解为 f n f_n fn；
近似误差[approximation error]：
R ( f ~ ) − R ( f ∗ ) R(\tilde{f})-R(f^*) R(f~)−R(f∗)
真实世界的最优解 f ∗ f^* f∗与假设空间中最优解 f ~ \tilde{f} f~的误差；只与假设空间 F \mathcal{F} F有关；理论上假设空间若可达到无限大，则可消除近似误差；估计误差[estimation error]：
R ( f n ) − R ( f ~ ) R(f_n)-R(\tilde{f}) R(fn)−R(f~)
搜索到的最优解 f n f_n fn与假设空间中的最优解 f ~ \tilde{f} f~的误差；比如优化器的设计，新的初始化方法是在优化估计误差；泛化误差[generalization error]：算法搜索得到的最优解 R ( f n ) R(f_n) R(fn)与真实世界的最优解 R ( f ∗ ) R(f^*) R(f∗)的误差；
过拟合[Overfitting]： F \mathcal{F} F太大，模型复杂度高，估计误差较小，近似误差较大；
欠拟合[Underfitting]： F \mathcal{F} F太小，模型复杂度小，估计误差较大，近似误差较小；
Reference:
- 如何理解和区分近似误差和估计误差?
基础知识 | 近似误差 估计误差相关推荐
- 嵌入式Linux的OTA更新，基础知识和实现
嵌入式Linux的OTA更新,基础知识和实现 OTA updates for Embedded Linux, Fundamentals and implementation 更新的需要 一旦嵌入式Li ...
- 计算机基础知识第十讲,计算机文化基础（第十讲）学习笔记
计算机文化基础(第十讲)学习笔记 采样和量化PictureElement Pixel(像素)(链接: 采样的实质就是要用多少点(这个点我们叫像素)来描述一张图像,比如,一幅420x570的图像,就表示 ...
- 嵌入式linux编程,嵌入式Linux学习笔记 - 嵌入式Linux基础知识和开发环境的构建_Linux编程_Linux公社-Linux系统门户网站...
注:所有内容基于友善之臂Mini2440开发板 一.嵌入式Linux开发环境的构建 嵌入式开发一般分为三个步骤: 1.编译bootloader,烧到开发板 2.编译嵌入式Linux内核,烧到开发板 3 ...
- 《计算机网络应用基础》模拟试卷(六),《计算机与网络应用基础知识1》模拟试卷...
<计算机与网络应用基础知识1>模拟试卷 (4页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.9 积分 <计算机与网络应用基础知识1& ...
- python向量计算库教程_NumPy库入门教程：基础知识总结
原标题:NumPy库入门教程:基础知识总结 视学算法 | 作者 知乎专栏 | 来源 numpy可以说是 Python运用于人工智能和科学计算的一个重要基础,近段时间恰好学习了numpy,pandas, ...
- python常用变量名_python基础知识整理
Python Python开发 Python语言 python基础知识整理 序言:本文简单介绍python基础知识的一些重要知识点,用于总结复习,每个知识点的具体用法会在后面的博客中一一补充程序: 一 ...
- 计算机基础知识掌握欠缺,《计算机基础知识》实验教学改革探讨.pdf
<计算机基础知识>实验教学改革探讨.pdf Science& TechnologyVision 科 技 视 界 科技 探·索·争鸣 计<算机基础知识>实验教学改革探讨 ...
- python计算wav的语谱图_Python实现电脑录音（含音频基础知识讲解）
前言 今天开始进入近期系列文章的第一篇,如何用 Python 来实现录音功能. 在开始"造轮子"之前,个人一直强调一个观点,如果有些东西已经有了,不妨直接去 github 上搜,用 ...
- 计算机wrod初级考试题及答案,计算机基础知识+Word基础知识+Excel基础知识试题答案解析.doc...
文档介绍: 计算机基础知识+ Word基础知识+ Excel基础知识 第一部分 一.单项选择题 1.世界上第一台电子数字计算机取名为( ). A.UNIVAC B.EDSAC C.E ...
最新文章
- Gartner：企业架构开始更加紧密地向业务看齐
- poj 2677 tour
- 用flex进行网易云音乐界面构建和布局解析（2）
- 一名大神的github
- es6 之 generator(-)
- springMvc源码刨析笔记
- 【双百解法】剑指 Offer 15. 二进制中1的个数
- 白噪声检测_科学家尝试用智能扬声器的白噪声来监测婴儿的呼吸运动
- matlab蚁群算法代码,蚁群算法的matlab实现
- php删除提示信息,php删除一条记录（删除确认提示)
- Spark 系列（十）—— Spark SQL 外部数据源
- python迭代器学习与简单的实践
- PHP 通过PHPMailer发送邮件
- 上传图片时出现http 415错误
- Python全栈自动化测试--Pycharm专业版安装
- 结节性硬化症会一直病变吗？结节性硬化最晚多大发病？
- JavaStudy13(MySQL)—B站韩顺平
- LaTeX技巧004：给文字添加下划线、波浪线等样式
- 小米Q3财报解读：手机行业整体疲软之下，怎么做到互联网业务大爆发？
- 程序猿最喜欢说的30句话