动手学深度学习笔记一线性回归

一，线性回归
线性回归的疑问记录
MSE:mean square error均方误差
epoch:迭代次数
optimizer：优化器
mini-batch：小批量
进行线性回归的思路
选择线性模型，定义好初始值，forward前馈，优化算法后
运用训练集对模型进行进行训练，我们选择小批量随机梯度下降
当进行epoch1时，输入小批量的数据进行求loss，然后按照梯度下降的公式得到w1
当进行epoch2时，再次输入小批量的数据求loss，求得w2
就这样一次次的下降至接近global minimu（未完待续）

附录：
图片来源b站李沐老师的课程
基础知识截图

创建数组：[逗号前的表示行；分号是左闭右开，逗号后表示列]

import torch

虽然是pytorch，我们导入时用的是torch
数据操作部分截图

torch.arange

这里隐式构造了计算图

y.detach后u成了一个常数，将某些计算移动到计算图以外。

动手学深度学习笔记一线性回归相关推荐

MXNet动手学深度学习笔记：线性回归
为什么80%的码农都做不了架构师?>>> #coding:utf-8 from mxnet import ndarray as nd from mxnet import aut ...
动手学深度学习笔记3.4+3.5+3.6+3.7
系列文章目录动手学深度学习笔记系列: 动手学深度学习笔记3.1+3.2+3.3 文章目录系列文章目录前言一.softmax回归 1.1 分类问题 1.2 网络架构 1.3 全连接层的参数开销 ...
动手学深度学习笔记（1）
动手学深度学习深度学习简介深度学习简介举一个小的例子,如何编写一个程序,让机器识别我输入的图片是否有一只猫?我们需要哪些值来帮助我们确定?事实上,要想解读图像中的内容,需要寻找仅仅在结合成千上万 ...
[深度学习]动手学深度学习笔记-3
Task-2 文本预处理:语言模型:循环神经网络基础 3.1 文本预处理文本是一类序列数据,一篇文章可以看作是字符或单词的序列,本节将介绍文本数据的常见预处理步骤,预处理通常包括四个步骤: 读入文本 ...
李沐动手学深度学习：08 线性回归（代码逐行理解）
目录一.相关资料连接 1.1 李沐视频 1.2 代码.PPT 二.代码及笔记(使用Jupyter Notebook) 2.1 线性回归从零开始实现 2.1.1 基本概念 2.1.2 基础优化算法 2 ...
[深度学习]动手学深度学习笔记-5
Task2--梯度消失.梯度爆炸 5.1 梯度消失与梯度爆炸的概念深度神经网络训练的时候,采用的是反向传播方式,该方式使用链式求导,计算每层梯度的时候会涉及一些连乘操作,因此如果网络过深. 那么如果 ...
[深度学习]动手学深度学习笔记-14
Task9--目标检测基础 14.1 目标检测和边界框在前面的一些章节中,我们介绍了诸多用于图像分类的模型.在图像分类任务里,我们假设图像里只有一个主体目标,并关注如何识别该目标的类别.然而,很多时 ...
动手学深度学习笔记4——微积分自动微分
目录 1.微积分 1.1导数和微分 1.2偏导数 1.3梯度 1.4链式法则 1.5小结 1.6练习 2.自动微分 2.1一个简单的例子 2.2非标量变量的反向传播 2.3分离计算 2.4Python ...
[深度学习]动手学深度学习笔记-15
Task6--批量归一化和残差网络 15.1 批量归一化本节我们介绍批量归一化(batch normalization)层,它能让较深的神经网络的训练变得更加容易.在(实战Kaggle比赛:预测房价 ...

动手学深度学习笔记一线性回归

动手学深度学习笔记一线性回归相关推荐

最新文章

热门文章