从 pytorch到nlp

第一章 pytorch 之构建神经网络

文章目录

从 pytorch到nlp
- 前言
一、构建神经网络的具体流程
二、代码及其解读
- 1.模型构建
- 2.查看模型参数
- 3.损失函数
- 4.反向传播
- 5.更新网络参数
总结

前言

 作为人工智能的一项重要分支，自然语言处理在各个领域得到了广泛应用，pytorch是学习自然语言处理的一个深度学习框架之一，本文记录一下小杜的学习笔记

一、构建神经网络的具体流程

1 定义一个拥有可学习参数的神经网络
2 遍历训练数据集
3 处理数据使其流经神经网络
4计算损失
5将网络参数的梯度进行反向传播
6依一定的规则更新网络权重

二、代码及其解读

1.模型构建

代码是在jupyter notebook 上运行
图解

代码如下（示例）：

import torch
import torch.nn as nn
import torch.nn.functional as F
class Net(nn.Module):#定义Net的初始化函数，这个函数定义了该神经网络的基本结构def __init__(self):super(Net,self).__init__()#对继承自父类的属性进行初始化 复制并使用Net的父类的初始化方法，即先运行nn.Module的初始化函数self.conv1=nn.Conv2d(1,6,3)#输入1 输出6 卷积核是3*3 表示提取6个特征，得到6个feature mapself.conv2=nn.Conv2d(6,16,3)#输入6输出16#全连接层定义了三层线性转换，16*6*6就是把这16个二维数组拍扁了后一维向量的sizeself.fc1=nn.Linear(16*6*6,120)self.fc2=nn.Linear(120,84)self.fc3=nn.Linear(84,10)#Linear有三个参数，分别是输入特征数，输出特征数以及是否使用偏置（默认为True）。#默认情况下Linear会自动生成权重参数和偏置，所以在模型中不需要单独定义权重参数，#并且Linear提供比原先自定义权重参数时使用的randn随机正太分布更好的参数初始化方法def forward(self,x):x=F.max_pool2d(F.relu(self.conv1(x)),(2,2))#将x放入卷积层中 用激活函数relu激活  在2*2池化窗口进行最大池化x=F.max_pool2d(F.relu(self.conv2(x)),2)#经历第二个卷积层x=x.view(-1,self.num_flat_features(x))#通过这个view()函数我们把二维数据变成了一维向量。 Convolution Layer和Fully Connected Layer的对接x = F.relu(self.fc1(x))x = F.relu(self.fc2(x))x = self.fc3(x)return xdef num_flat_features(self,x)##使用num_flat_features函数计算张量x的总特征量size=x.size[1:]num_features=1for s in size:num_features*=s #累乘return num_features
net=Net()
net

运行结果

这里显示了实例化类打印出来网络结构
这里我们的神经网络有五层两个卷积层三个全连接层

2.查看模型参数

params = list(net.parameters())
print(len(params))
params[0].size()#打印第一个参数的大小
params

假设输入图像维度是3232 输出参数是十个参数大小110
然后就可以

3.损失函数

损失函数可以通过输入（input，target）和标签的差值进行计算
torch.nn 中有很多损失函数比如 nn.MSEloss 计算均方误差损失评估模型
代码如下（示例）：

output = net(input)
target = torch.randn(10)
target = target.view(1, -1)  #改变target张量和output匹配
criterion = nn.MSELoss()loss = criterion(output, target)
print(loss)

计算流程图 input ->conv2d->relu-> maxpool2d ->conv2d->relu->relumaxpool2d->view->linear->relu->linear->relu->linear->MSEloss->loss
反向传播从有右向左
调用loss.backward()时，在整个计算图都会多loss进行微分，所有requires_grad=True的tensor张量的.都会累加到grad属性中。
不断追溯

4.反向传播

有了输出张量就可以进行梯度归零(net.zero_grad()将其所有参数（包括子模块的参数）的梯度设置为零调用backward()函数之前都要将梯度清零，因为如果梯度不清零，pytorch中会将上次计算的梯度和本次计算的梯度累加。)
和反向传播net.zero_grad() out.backward(torch.randn(1,10))
调用 loss.backward() ，观察conv1 层bias的梯度反向传播前后的变化

net.zero_grad()     # 梯度归零print('conv1.bias.grad before backward')
print(net.conv1.bias.grad)loss.backward()print('conv1.bias.grad after backward')
print(net.conv1.bias.grad)

5.更新网络参数

随即梯度下降SGD
　weight = weight - learning_rate * gradient

import torch.optim as optim#创建优化器
optimizer = optim.SGD(net.parameters(), lr=0.01)# 清零
optimizer.zero_grad()   # zero the gradient buffers
#input 输入
output = net(input)
loss = criterion(output, target)
loss.backward()#对损失进行反向传播
optimizer.step()    # 真正的执行

总结

以上就是今天要讲的内容
我们学习了构建一个神经网络的典型流程
1.学习了损失函数的定义
采用torch.nn.MSEloss均方误差
通过loss.backward()进行反向传播时整张计算图将对loss进行自动求导所有属性require_grad=Ture 的Tensor将被参与到梯度求导运算中梯度累加到tensor属性。grad中
2. 学习了反向传播的计算方法
loss.backward()
进行梯度归零(net.zero_grad()将其所有参数（包括子模块的参数）的梯度设置为零调用backward()函数之前都要将梯度清零，因为如果梯度不清零，pytorch中会将上次计算的梯度和本次计算的梯度累加。
net.zero_grad()
out.backward()
3. 学习了参数的更新方法
定义优化器来执行参数的优化更行
optimizer = optim.SGD(net.parameters(), lr=0.01)
4.通过优化器来执行具体的参数更新
optimizer.step() # 真正的执行

pytorch入门——构建神经网络相关推荐

pytorch神经网络因素预测_实战：使用PyTorch构建神经网络进行房价预测
微信公号:ilulaoshi / 个人网站:lulaoshi.info 本文将学习一下如何使用PyTorch创建一个前馈神经网络(或者叫做多层感知机,Multiple-Layer Perceptron ...
PyTorch 入门实战（四）——利用Torch.nn构建卷积神经网络
承接上一篇:PyTorch 入门实战(三)--Dataset和DataLoader PyTorch入门实战 1.博客:PyTorch 入门实战(一)--Tensor 2.博客:PyTorch 入门实战 ...
使用PyTorch构建神经网络（详细步骤讲解+注释版） 01-建立分类器类
文章目录 1 数据准备 2 数据预览 3 简单神经网络创建 3.1 设计网络结构 3.2 损失函数相关设置 3.3 向网络传递信息 3.4 定义训练函数train 4 函数汇总 1 数据准备神经网络 ...
Pytorch入门练习2-kaggle手写字识别神经网络(CNN)实现
目录数据预处理自定义数据集构建网络结构对卷积神经网络进行训练和评估对数据进行预测保存预测数据,提交代码 SNN由于无法考虑到图片数据的维度关系,在预测精度上会被限制,本章我们采用CNN卷积 ...
PyTorch如何构建和实验神经网络
点击上方"视学算法",马上关注真爱,请设置"星标"或点个"在看" 作者 | Tirthajyoti Sarkar 来源 | Medium ...
使用PyTorch从零开始构建Elman循环神经网络
摘要: 循环神经网络是如何工作的?如何构建一个Elman循环神经网络?在这里,教你手把手创建一个Elman循环神经网络进行简单的序列预测. 本文以最简单的RNNs模型为例:Elman循环神经网络,讲述 ...
【深度学习】：《PyTorch入门到项目实战》（十二）卷积神经网络：填充(padding)和步幅(stride)
[深度学习]:<PyTorch入门到项目实战>(十二)填充(padding)和步幅(stride) ✨本文收录于[深度学习]:<PyTorch入门到项目实战>专栏,此专栏主要记 ...
PyTorch 入门实战
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/qq_36556893/article/ ...
numpy pytorch 接口对应_拆书分享篇深度学习框架PyTorch入门与实践
<<深度学习框架PyTorch入门与实践>>读书笔记 <深度学习框架PyTorch入门与实践>读后感小作者:马苗苗读完<<深度学习框架PyTorc ...
PyTorch搭建简单神经网络实现回归和分类
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 安装 PyTorch 会安装两个模块,一个是torch,一个 torchvision, tor ...

pytorch入门——构建神经网络