1. 训练误差和泛化误差

训练误差：模型在训练数据上的误差（比如：模拟高考，可以有很多次）
泛化误差：模型在新数据上的误差（比如：真实高考，只有一次）

K-则交叉验证

2. 过拟合和欠拟合

模型容量：模型的复杂度
简单数据集：比如线性模型的数据，比如ax+b=y
复杂数据集举例：ImageNet

2.1 VC 维

统计学习理论的一个核心思想
对于一个分类模型，VC等于一个最大的数据集的大小，不管如何给定标号，都存在一个模型来对它进行完美分类。

3. 代码样例过拟合欠拟合

4. QA

SVM很难训练100万的数据量，SVM可以调的参数很少，特征的分类，提取是分开处理的；神经网络GPT 3 训练的参数都超过1750亿个。神经网络是个语言，可以做很灵活编程。
k则交叉验证，在神经网络上用的比较少，因为数据集都比较大。k则交叉验证应用于数据比较少的情况，k的选择原则，在于能接受的计算量的情况下。
深度学习打败 svm ，因为效果很好，比如图片识别的精度很高，但是深度学习可解释性不好。svm 打败多层感知机，因为svm有理论证明，并且容易调参，并且可调参数很少，比较简单。
VC维衡量模型，简单来说是可以记住的数的维度，比如能备注π的100位小数，就是100VC维。
科学、工程、艺术：神经网络有一部分是艺术，可解释性不强，靠猜测。

参考

https://www.bilibili.com/video/BV1kX4y1g7jp?p=1

模型选择 + 过拟合和欠拟合动手学深度学习v2 pytorch相关推荐

含并行连结的网络 GoogLeNet / Inception V3 动手学深度学习v2 pytorch
1. 含并行连结的网络 GoogLeNet 第一个神经网络可以做到超过100层. Inception 块的名字,取自盗梦空间,就是不断深入到梦境中,不断深入. Inception 使得参数减少,计算量 ...
【动手学深度学习v2李沐】学习笔记07：权重衰退、正则化
前文回顾:模型选择.欠拟合和过拟合文章目录一.权重衰退 1.1 硬性限制 1.2 柔性限制(正则化) 1.3 参数更新法则 1.4 总结二.代码实现 2.1 从零开始实现 2.1.1 人工数据集 ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（2）前言（介绍各种机器学习问题）以及数据操作预备知识Ⅰ
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（4）线性神经网络（暂停）
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
动手学深度学习v2 p1引言监督学习与无监督学习
1.引言 1.2. 机器学习中的关键组件首先介绍一些核心组件.无论什么类型的机器学习问题,都会遇到这些组件: 可以用来学习的数据(data): 如何转换数据的模型(model): 一个目标函数(ob ...
（d2l-ai/d2l-zh）《动手学深度学习》pytorch 笔记（3）前言（介绍各种机器学习问题）以及数据操作预备知识Ⅲ（概率）
开源项目地址:d2l-ai/d2l-zh 教材官网:https://zh.d2l.ai/ 书介绍:https://zh-v2.d2l.ai/ 笔记基于2021年7月26日发布的版本,书及代码下载地址在 ...
使用AWS最便宜的GPU实例 from 动手学深度学习v2 李沐大神
使用AWS最便宜的GPU实例 from 动手学深度学习v2 李沐大神视频链接https://www.bilibili.com/video/BV1MA411L78X?t=493 由于购买的电脑没有配 ...
动手学深度学习 v2 视频版
动手学深度学习 v2 01 课程安排目标内容形式你将学到什么? 资源 02 深度学习介绍 AI 地图图片分类物体检测和分割样式迁移人脸合成文字生成图片文字生成 03 安装本地安装 ...
李沐动手学深度学习v2/总结1
总结编码过程数据数据预处理模型参数,初始化参数超参数损失函数,先计算损失,清空梯度(防止有累积的梯度),再对损失后向传播计算损失关于参数的梯度优化算法,使用优化算法更新参数训练求参数 ...
《动手学深度学习v2》之细致解析（1)内容及介绍及安装
前言作者来自北京某不知名985,现在是本科在读学生,专业是数据科学与大数据技术,班上同学都太卷了,没办法,需要学习深度学习,经大佬介绍,在B站上找到了一个很不错的资源,李沐老师的<动手学深度学 ...

模型选择 + 过拟合和欠拟合动手学深度学习v2 pytorch

1. 训练误差和泛化误差

K-则交叉验证

2. 过拟合和欠拟合

2.1 VC 维

3. 代码样例过拟合欠拟合

4. QA

参考

模型选择 + 过拟合和欠拟合动手学深度学习v2 pytorch相关推荐

最新文章

热门文章

模型选择 + 过拟合和欠拟合 动手学深度学习v2 pytorch

1. 训练误差和泛化误差

K-则交叉验证

2. 过拟合和欠拟合

2.1 VC 维

3. 代码样例 过拟合 欠拟合

4. QA

参考

模型选择 + 过拟合和欠拟合 动手学深度学习v2 pytorch相关推荐

最新文章

热门文章

模型选择 + 过拟合和欠拟合动手学深度学习v2 pytorch

3. 代码样例过拟合欠拟合

模型选择 + 过拟合和欠拟合动手学深度学习v2 pytorch相关推荐