《深度学习》学习笔记（一）

2024-05-17 11:54:03

李宏毅老师《深度学习》课程开始前两节课就是介绍机器学习的一些基本概念

文章目录

Marchine learning
Training steps
Structured Learning
overfitting
mismatch

Marchine learning

M a c h i n e l e a r n i n g ≈ L o o k i n g f o r F u n c t i o n Machine\ learning \approx Looking for Function Machine learning≈LookingforFunction
机器学习相当于是寻找输入输出对应的函数(model)

Training steps

step1: the function with unknown parameters

step2: define Loss from training data
Loss: how good a set of values is.
损失函数的定义： L = 1 N ∑ n e n L=\frac{1}{N}\sum_{n}e_n L=N1∑nen
e = ∣ y − y ^ ∣ e=|y-\hat{y}| e=∣y−y^∣ M A E MAE MAE即mean absolute error
e = ( y − y ^ ) 2 e=(y-\hat{y})^2 e=(y−y^)2 M S E MSE MSE即mean square error

当 y y y和 y ^ \hat{y} y^都是概率分布时，可能会选择交叉熵 C r o s s e n t r o p y Cross\ entropy Cross entropy作为损失函数

step3: optimization
w ∗ , b ∗ = a r g min ⁡ w , b L w^*,b^*=arg \min_{w,b} L w∗,b∗=argminw,bL
优化方法有gradient descent

Structured Learning

S t r u c t u r e d L e a r n i n g ≈ c r e a t e s t h w i t h s t r u c t u r e ( i m a g e , d o c u m m e n t ) Structured\ Learning \approx create\ sth\ with\ structure(image, documment) Structured Learning≈create sth with structure(image,documment)

overfitting

当训练集上的loss小，测试集上的loss大时，才是过拟合

解决overfitting的方法：

more training data(data augmentation)
根据自己对于问题的理解，创造更多的数据
constrained model
根据问题给模型更多的限制
比如less parameters、less features、early stopping、regularization、dropout

在选择模型的时候应该综合训练集和测试集的误差来进行选择。

mismatch

Your traing and testing data have different distributions.

李宏毅老师的台湾腔真的好听啦~~

《深度学习》学习笔记（一）相关推荐

【web编程技术学习笔记】因特网与万维网简介
目录 Client客户端 Server服务器端 TCP/IP五层协议 IP 查看IP地址的的两种方法 TCP URL 样式一样式二 DNS URL&DNS HTTP 与因特网有关的组织 IE ...
程序员编程技术学习笔记
程序员编程技术学习笔记看july的博客也有好久了,一直没能好好整理一下自己的学习笔记,开了博客之后更加愿意好好整理一番了.其中不免有些内容在july那里可以找到原文,但是更多的加入了我个人的 ...
JAVA 网络编程技术学习笔记
目录一.网络编程基本概念(了解) 1.1 计算机网络 1.2 网络通信协议 1.2.1什么是网络通信协议 1.2.2 OSI七层协议模型 1.2.3网络协议的分层 1.3数据的封装和解封 1.4 I ...
《ASP.NET MVC4 WEB编程》学习笔记------Web API 续
目录 ASP.NET WEB API的出现缘由 ASP.NET WEB API的强大功能 ASP.NET WEB API的出现缘由随着UI AJAX 请求适量的增加,ASP.NET MVC基于Jso ...
java网络编程技术学习笔记（b站【狂神说Java】网络编程实战讲解）
b站视频链接:[狂神说Java]网络编程实战讲解文章目录网络编程 1.1.概述 1.2.网络通信的要素 1.3.IP 1.4.端口 1.5.通信协议 1.6.TCP 文件发送 1.7.UDP 1. ...
SpringBoot整合第三方技术学习笔记（自用）
SpringBoot整合第三方技术学习笔记搬运黑马视频配套笔记 KF-4.数据层解决方案 KF-4-1.SQL 回忆一下之前做SSMP整合的时候数据层解决方案涉及到了哪些技术?MySQL数据库与My ...
java mvc框架代码_JAVA技术学习笔记：SpringMVC框架（内附入门程序开发代码）
原标题:JAVA技术学习笔记:SpringMVC框架(内附入门程序开发代码) JavaEE体系结构包括四层,从上到下分别是应用层.Web层.业务层.持久层.Struts和SpringMVC是Web层的 ...
ssm 转发请求_千呼万唤！阿里内部终于把这份SSM框架技术学习笔记分享出来了...
SSM SSM(Spring+SpringMVC+MyBatis)框架集由Spring.MyBatis两个开源框架整合而成(SpringMVC是Spring中的部分内容).常作为数据源较简单的web项 ...
【C#编程基础学习笔记】6---变量的命名
2013/7/24 技术qq交流群:JavaDream:251572072 教程下载,在线交流:创梦IT社区:www.credream.com [C#编程基础学习笔记]6---变量的命名 ----- ...
【C#编程基础学习笔记】4---Convert类型转换
2013/7/24 技术qq交流群:JavaDream:251572072 教程下载,在线交流:创梦IT社区:www.credream.com [C#编程基础学习笔记]4---Convert类型转换 ...

最新文章

热门文章