生成训练数据

这里使用随机数生成训练数据，大家在自己写的时候只需要替换这里就OK了：

def get_total_train_data(word_embedding_size, class_count):"""得到全部的训练数据，这里需要替换成自己的数据"""import numpy as npx_train = torch.Tensor(np.random.random((1000, 20, word_embedding_size)))  # 维度是 [ 数据量, 一句话的单词个数, 句子的embedding]y_train = torch.Tensor(np.random.randint(0, class_count, size=(1000, 1))).long()  # [ 数据量, 句子的分类], 这里的class_count=4，就是四分类任务return x_train, y_train

由于多数是用于文本训练，因此这里将word_embedding_size换成自己的embedding，对于分类任务，class_count = N表示N分类任务；回归任务也可以自定义修改代码

构建TextRNN

class TextRnnModel(nn.Module):def __init__(self, embedding_size, lstm_hidden_size, output_size, num_layers=2, dropout=0.3):super(TextRnnModel, self).__init__()self.lstm = nn.LSTM(embedding_size,  # 词嵌入模型词语维度lstm_hidden_size,  # 隐层神经元的维度，为输出的维度num_layers,  # 构建两层的LSTM：堆叠LSTMbidirectional=True,  # 双向的LSTM：词向量从前往后走，再重后往前走，最后拼接起来batch_first=True,  # 把第一个维度的输入作为batch输入的维度dropout=dropout)self.fc = nn.Linear(lstm_hidden_size * 2, output_size)# nn.Linear(输入维度，输出维度)：[ 上一步输出的LSTM维度*2(双向) , 10分类 ]def forward(self, x):"""前向传播"""out, _ = self.lstm(x)  # 过一个LSTM [batch_size, seq_len, embedding]out = self.fc(out[:, -1, :])return out

开始训练

构建训练数据集

构建batch数据

if __name__ == '__main__':epochs = 1000batch_size = 30embedding_size = 350output_class = 14x_train, y_train = get_total_train_data(embedding_size, output_class)train_loader = Data.DataLoader(dataset=Data.TensorDataset(x_train, y_train),  # 封装进Data.TensorDataset()类的数据，可以为任意维度batch_size=batch_size,  # 每块的大小shuffle=True,  # 要不要打乱数据 (打乱比较好)num_workers=6,  # 多进程（multiprocess）来读数据drop_last=True,)

训练三件套：模型，loss，优化器

   model = TextRnnModel(embedding_size=embedding_size, lstm_hidden_size=200, output_size=output_class)cross_loss = nn.CrossEntropyLoss()optimizer = torch.optim.Adam(model.parameters(), lr=0.001)  # 优化器

开始训练

   model.train()for i in range(epochs):for seq, labels in train_loader:optimizer.zero_grad()y_pred = model(seq)  # 压缩维度：得到输出，并将维度为1的去除single_loss = cross_loss(y_pred, labels.squeeze())# single_loss = cross_loss(y_pred, labels)single_loss.backward()optimizer.step()print("Step: " + str(i) + " loss : " + str(single_loss.detach().numpy()))

完整代码

#!/usr/bin/env Python
# coding=utf-8
import torch
import torch.nn as nn
import torch.utils.data as Dataclass TextRnnModel(nn.Module):def __init__(self, embedding_size, lstm_hidden_size, output_size, num_layers=2, dropout=0.3):super(TextRnnModel, self).__init__()self.lstm = nn.LSTM(embedding_size,  # 词嵌入模型词语维度lstm_hidden_size,  # 隐层神经元的维度，为输出的维度num_layers,  # 构建两层的LSTM：堆叠LSTMbidirectional=True,  # 双向的LSTM：词向量从前往后走，再重后往前走，最后拼接起来batch_first=True,  # 把第一个维度的输入作为batch输入的维度dropout=dropout)self.fc = nn.Linear(lstm_hidden_size * 2, output_size)# nn.Linear(输入维度，输出维度)：[ 上一步输出的LSTM维度*2(双向) , 10分类 ]def forward(self, x):"""前向传播"""out, _ = self.lstm(x)  # 过一个LSTM [batch_size, seq_len, embedding]out = self.fc(out[:, -1, :])return outdef get_total_train_data(word_embedding_size, class_count):"""得到全部的训练数据，这里需要替换成自己的数据"""import numpy as npx_train = torch.Tensor(np.random.random((1000, 20, word_embedding_size)))  # 维度是 [ 数据量, 一句话的单词个数, 句子的embedding]y_train = torch.Tensor(np.random.randint(0, class_count, size=(1000, 1))).long()  # [ 数据量, 句子的分类], 这里的class_count=4，就是四分类任务return x_train, y_trainif __name__ == '__main__':epochs = 1000batch_size = 30embedding_size = 350output_class = 14x_train, y_train = get_total_train_data(embedding_size, output_class)train_loader = Data.DataLoader(dataset=Data.TensorDataset(x_train, y_train),  # 封装进Data.TensorDataset()类的数据，可以为任意维度batch_size=batch_size,  # 每块的大小shuffle=True,  # 要不要打乱数据 (打乱比较好)num_workers=6,  # 多进程（multiprocess）来读数据drop_last=True,)model = TextRnnModel(embedding_size=embedding_size, lstm_hidden_size=200, output_size=output_class)cross_loss = nn.CrossEntropyLoss()optimizer = torch.optim.Adam(model.parameters(), lr=0.001)  # 优化器model.train()for i in range(epochs):for seq, labels in train_loader:optimizer.zero_grad()y_pred = model(seq)  # 压缩维度：得到输出，并将维度为1的去除single_loss = cross_loss(y_pred, labels.squeeze())# single_loss = cross_loss(y_pred, labels)single_loss.backward()optimizer.step()print("Step: " + str(i) + " loss : " + str(single_loss.detach().numpy()))

pytorch搭建TextRNN与使用案例相关推荐

pytorch搭建TextCNN与使用案例
TextCNN算法流程整体流程是将词拼接在一起,一句话构成一个特征图根据卷积核得到多个特征向量每个特征向量全局池化,选最大的特征作为这个特征向量的值拼接特征值,得到句子的特征向量全连接后得到 ...
一、pytorch搭建实战以及sequential的使用
一.pytorch搭建实战以及sequential的使用 1.A sequential container 2.搭建cifar10 model structure 3.创建实例进行测试(可以检查网络是 ...
【深度学习】——利用pytorch搭建一个完整的深度学习项目（构建模型、加载数据集、参数配置、训练、模型保存、预测）
目录一.深度学习项目的基本构成二.实战(猫狗分类) 1.数据集下载 2.dataset.py文件 3.model.py 4.config.py 5.predict.py 一.深度学习项目的基本构成 ...
基于PyTorch搭建CNN实现视频动作分类任务代码详解
数据及具体讲解来源: 基于PyTorch搭建CNN实现视频动作分类任务 import torch import torch.nn as nn import torchvision.transforms ...
Flume环境搭建_五种案例(转)
Flume环境搭建_五种案例 http://flume.apache.org/FlumeUserGuide.html A simple example Here, we give an example ...
Pytorch搭建自己的模型
前言 PyTorch.TensorFlow都是主流的深度学习框架,今天主要讲解一下如何快速使用pytorch搭建自己的模型.至于为什么选择讲解pytorch,这里我就简单说明一下自己的使用感受(相对T ...
Educoder 机器学习神经网络第四关：使用pytorch搭建卷积神经网络识别手写数字
任务描述相关知识卷积神经网络为什么使用卷积神经网络卷积池化全连接网络卷积神经网络大致结构 pytorch构建卷积神经网络项目流程数据集介绍与加载数据构建模型训练模型保存模型加载 ...
使用Pytorch搭建U-Net网络并基于DRIVE数据集训练(语义分割)学习笔记
使用Pytorch搭建U-Net网络并基于DRIVE数据集训练(语义分割)学习笔记 https://www.bilibili.com/video/BV1rq4y1w7xM?spm_id_from=33 ...
睿智的目标检测30——Pytorch搭建YoloV4目标检测平台
睿智的目标检测30--Pytorch搭建YoloV4目标检测平台学习前言什么是YOLOV4 代码下载 YOLOV4改进的部分(不完全) YOLOV4结构解析 1.主干特征提取网络Backbone ...

pytorch搭建TextRNN与使用案例

文章目录

生成训练数据

构建TextRNN

开始训练

构建训练数据集

训练三件套：模型，loss，优化器

开始训练

完整代码

pytorch搭建TextRNN与使用案例相关推荐

最新文章

热门文章