torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人深度学习 Pytorch笔记 B站刘二大人（4/10）

介绍

至此开始，深度学习模型构建的预备知识已经完全准备完毕。
从本章开始就开始按照实际研究与开发中的流程进行深度学习模型的构建。

实现步骤：

准备数据集
设计深度学习模型，计算y_hat
用pytorch封装功能实现loss函数和优化函数
进行顺序训练循环，前馈，反馈，更新

在构建的过程中同样需要注意，使用tensor数据类型，使用mini-batch形式：一次性求出多种样本的输出结果。
并运算思维转换为矩阵运算，在进行数据输入时要使用两个中括号

完成了数据的设置后，需要求解出权重w的关于损失函数loss的梯度解析式
大型项目通常使用pytorch封装好的模块，在计算过程中将自动生成运算图。
下图是一个最简单仿射模型，是一个基础线性单元：其数学表达式为
预测值y_hat = 权重w* 输入数据 x +偏置量b
当输出和输出维度不同时，例如下图输入x是41的向量，而输出是31的向量，按照矩阵乘法的运算规则，权重参数w应当是一个3*4的数值矩阵

基本模型类

上图是构建的运算模型，从torch中的深度学习模型类module进行继承，并通过魔法方法super进行重写，设置模型中仅有一个单输入单输出的线性层。使用该方法的好处是从moudel进行继承可以自动构造反向传播函数。

之后定义向前函数forward，记得要在原始函数后再加上形参x

完成模型构建后进行实例化：model = LinearModel()

额外的python编程技巧

Python编程技巧，在定义对象可调用函数__call__()是，形参定义为*args和 *kwargs，其中args将输入的未命名的参数自动形成元组，kwargs将传递参数组成词典

对指向索引

代码解读与实现

模板计算步骤：
1.计算y_hat
2.计算损失loss 2.5 之前的梯度清零
3. backward()计算累积梯度
4. update更新

"""
our model class should be inherit from nn.Module, which is base class for all neural network modules.
member methods __init__() and forward() have to be implemented
class nn.linear contain two member Tensors: weight and bias
class nn.Linear has implemented the magic method __call__(),which enable the instance of the class can
be called just like a function.Normally the forward() will be called
我们模型类应该继承自nn.Module，它是所有神经网络模块的基类。
必须实现成员方法__init__()和forward()
class nn.linear包含两个成员张量:权重和偏差
class nn.linear实现了魔法方法__call__()，这使得类的实例可以
就像函数一样被调用。通常会调用forward()
"""
import torchx_data = torch.Tensor([[1.0], [2.0], [3.0]])  # 第一个[]为将三个输入组合为一组输入向量，第二个[]将数据标志为Tensor数据类型
y_data = torch.Tensor([[2.0], [4.0], [6.0]])  # 同样第一个[]将输出组合为向量，第二个[]将数据标志为Tensor数据类型class LinearModel(torch.nn.Module):     # 定义类，从torch.nn.Module 继承def __init__(self):                 # 魔法方法定义构造函数super(LinearModel, self).__init__()     # super继承父类的init函数self.linear = torch.nn.Linear(1, 1)     # 定义输入输出个数def forward(self, x):y_pred = self.linear(x)return y_predmodel = LinearModel()   # 将定义的网络模型类实例化criterion = torch.nn.MSELoss(size_average=False)    # 通过MSE（交叉熵）计算损失optimizer = torch.optim.SGD(model.parameters(), lr=0.01)    # 通过SGD方法（随机梯度下降法）进行动态更新优化for epoch in range(150):y_pred = model(x_data)loss = criterion(y_pred, y_data)print(epoch, loss)optimizer.zero_grad()       # 将上一次的梯度清零，释放内存loss.backward()     # 反向获取损失梯度optimizer.step()    # 根据损失梯度更新模型参数，进行性能优化# Output weight and bias
print('w =', model.linear.weight.item())
print('b =', model.linear.bias.item())# Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)print('y_pred =', y_test.item())

作业

使用如下优化器尝试模型效果

【线性回归 Linear-Regression torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人（4/10）】相关推荐

【数据集加载 DatasetDataLoader 模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人（7/10）】
数据集加载 Dataset&DataLoader 模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人 (7/10) 模块介绍在本节中没有关于数学原理的相关介绍,使用的数据集和类型 ...
【卷积神经网络CNN 实战案例 GoogleNet 实现手写数字识别源码详解深度学习 Pytorch笔记 B站刘二大人（9.5/10）】
卷积神经网络CNN 实战案例 GoogleNet 实现手写数字识别源码详解深度学习 Pytorch笔记 B站刘二大人 (9.5/10) 在上一章已经完成了卷积神经网络的结构分析,并通过各个模块理解 ...
【多输入模型 Multiple-Dimension 数学原理分析以及源码详解深度学习 Pytorch笔记 B站刘二大人（6/10）】
多输入模型 Multiple-Dimension 数学原理分析以及源码源码详解深度学习 Pytorch笔记 B站刘二大人(6/10) 数学推导在之前实现的模型普遍都是单输入单输出模型,显然,在现实 ...
【分类器 Softmax-Classifier softmax数学原理与源码详解深度学习 Pytorch笔记 B站刘二大人（8/10）】
分类器 Softmax-Classifier softmax数学原理与源码详解深度学习 Pytorch笔记 B站刘二大人 (8/10) 在进行本章的数学推导前,有必要先粗浅的介绍一下,笔者在广泛查找 ...
【反向传播算法 Back-Propagation 数学推导以及源码详解深度学习 Pytorch笔记 B站刘二大人（3/10）】
反向传播算法 Back-Propagation 数学推导以及源码详解深度学习 Pytorch笔记 B站刘二大人(3/10) 数学推导 BP算法 BP神经网络可以说机器学习的最基础网络.对于普通的简单 ...
【卷积神经网络CNN 数学原理分析与源码详解深度学习 Pytorch笔记 B站刘二大人（9/10）】
卷积神经网络CNN 数学原理分析与源码详解深度学习 Pytorch笔记 B站刘二大人(9/10) 本章主要进行卷积神经网络的相关数学原理和pytorch的对应模块进行推导分析代码也是通过demo实 ...
【梯度下降算法 Gradient-Descend 数学推导与源码详解深度学习 Pytorch笔记 B站刘二大人（2/10）】
梯度下降算法 Gradient-Descend 数学推导与源码详解深度学习 Pytorch笔记 B站刘二大人(2/10) 数学原理分析在第一节中我们定义并构建了线性模型,即最简单的深度学习模型,但 ...
【非线性回归 Logistics-Regression 模块实现与源码解读深度学习 Pytorch笔记 B站刘二大人（5/10）】
非线性回归 Logistics-Regression 模块实现与源码解读深度学习 Pytorch笔记 B站刘二大人(5/10) 数学推导什么是logistics函数在定义上Logistic函数或 ...
【线性模型 Linear-Model 数学原理分析以及源码实现深度学习 Pytorch笔记 B站刘二大人（1/10）】
线性模型 Linear-Model 数学原理分析以及源码实现深度学习 Pytorch笔记 B站刘二大人(1/10) 数学原理分析线性模型是我们在初级数学问题中所遇到的最普遍也是最多的一类问题在线 ...

【线性回归 Linear-Regression torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人（4/10）】

torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人深度学习 Pytorch笔记 B站刘二大人（4/10）

介绍

基本模型类

额外的python编程技巧

代码解读与实现

作业

【线性回归 Linear-Regression torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人（4/10）】相关推荐

最新文章

热门文章

【 线性回归 Linear-Regression torch模块实现与源码详解 深度学习 Pytorch笔记 B站刘二大人（4/10）】

torch模块实现与源码详解 深度学习 Pytorch笔记 B站刘二大人 深度学习 Pytorch笔记 B站刘二大人（4/10）

介绍

基本模型类

额外的python编程技巧

代码解读与实现

作业

【 线性回归 Linear-Regression torch模块实现与源码详解 深度学习 Pytorch笔记 B站刘二大人（4/10）】相关推荐

最新文章

热门文章

【线性回归 Linear-Regression torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人（4/10）】

torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人深度学习 Pytorch笔记 B站刘二大人（4/10）

【线性回归 Linear-Regression torch模块实现与源码详解深度学习 Pytorch笔记 B站刘二大人（4/10）】相关推荐