TextCNN算法流程

整体流程是将词拼接在一起，一句话构成一个特征图
根据卷积核得到多个特征向量
每个特征向量全局池化，选最大的特征作为这个特征向量的值
拼接特征值，得到句子的特征向量
全连接后得到目标维度的结果

完整代码

#!/usr/bin/env Python
# coding=utf-8
import torch
import torch.nn as nn
import torch.utils.data as Data
import torch.nn.functional as Fclass TextCnnModel(nn.Module):def __init__(self, embedding_size, output_size, channels=256, filter_sizes=(2, 3, 4), dropout=0.5):"""TextCnn 模型做文本分类:param embedding_size: 每个词向量的embedding长度:param output_size: 最后的输出个数、待分类的个数:param channels: 卷积核的数量:param filter_sizes: 卷积核尺寸:param dropout: 随机失活概率"""super(TextCnnModel, self).__init__()self.convs = nn.ModuleList([nn.Conv2d(1, channels, (k, embedding_size)) for k in filter_sizes])self.dropout = nn.Dropout(dropout)self.fc = nn.Linear(channels * len(filter_sizes), output_size)def conv_and_pool(self, x, conv):x = F.relu(conv(x)).squeeze(3)x = F.max_pool1d(x, x.size(2)).squeeze(2)return xdef forward(self, x):out = x.unsqueeze(1)out = torch.cat([self.conv_and_pool(out, conv) for conv in self.convs], 1)out = self.dropout(out)out = self.fc(out)return outdef get_total_train_data(word_embedding_size, class_count):"""得到全部的训练数据，这里需要替换成自己的数据"""import numpy as npx_train = torch.Tensor(np.random.random((1000, 20, word_embedding_size)))  # 维度是 [ 数据量, 一句话的单词个数, 句子的embedding]y_train = torch.Tensor(np.random.randint(0, class_count, size=(1000, 1))).long()  # [ 数据量, 句子的分类], 这里的class_count=4，就是四分类任务return x_train, y_trainif __name__ == '__main__':# ================参数=================epochs = 1000batch_size = 30embedding_size = 350output_class = 14# ================开始训练================x_train, y_train = get_total_train_data(embedding_size, output_class)train_loader = Data.DataLoader(dataset=Data.TensorDataset(x_train, y_train),  # 封装进Data.TensorDataset()类的数据，可以为任意维度batch_size=batch_size,  # 每块的大小shuffle=True,  # 要不要打乱数据 (打乱比较好)num_workers=6,  # 多进程（multiprocess）来读数据drop_last=True,)model = TextCnnModel(embedding_size=embedding_size, output_size=output_class)cross_loss = nn.CrossEntropyLoss()optimizer = torch.optim.Adam(model.parameters(), lr=0.001)  # 优化器model.train()for i in range(epochs):for seq, labels in train_loader:optimizer.zero_grad()y_pred = model(seq)  # 压缩维度：得到输出，并将维度为1的去除single_loss = cross_loss(y_pred, labels.squeeze())single_loss.backward()optimizer.step()print("Step: " + str(i) + " loss : " + str(single_loss.detach().numpy()))

pytorch搭建TextCNN与使用案例相关推荐

pytorch搭建TextRNN与使用案例
文章目录生成训练数据构建TextRNN 开始训练构建训练数据集训练三件套:模型,loss,优化器开始训练完整代码生成训练数据这里使用随机数生成训练数据,大家在自己写的时候只需要替换这里 ...
一、pytorch搭建实战以及sequential的使用
一.pytorch搭建实战以及sequential的使用 1.A sequential container 2.搭建cifar10 model structure 3.创建实例进行测试(可以检查网络是 ...
【深度学习】——利用pytorch搭建一个完整的深度学习项目（构建模型、加载数据集、参数配置、训练、模型保存、预测）
目录一.深度学习项目的基本构成二.实战(猫狗分类) 1.数据集下载 2.dataset.py文件 3.model.py 4.config.py 5.predict.py 一.深度学习项目的基本构成 ...
基于PyTorch搭建CNN实现视频动作分类任务代码详解
数据及具体讲解来源: 基于PyTorch搭建CNN实现视频动作分类任务 import torch import torch.nn as nn import torchvision.transforms ...
Flume环境搭建_五种案例(转)
Flume环境搭建_五种案例 http://flume.apache.org/FlumeUserGuide.html A simple example Here, we give an example ...
Pytorch搭建自己的模型
前言 PyTorch.TensorFlow都是主流的深度学习框架,今天主要讲解一下如何快速使用pytorch搭建自己的模型.至于为什么选择讲解pytorch,这里我就简单说明一下自己的使用感受(相对T ...
Educoder 机器学习神经网络第四关：使用pytorch搭建卷积神经网络识别手写数字
任务描述相关知识卷积神经网络为什么使用卷积神经网络卷积池化全连接网络卷积神经网络大致结构 pytorch构建卷积神经网络项目流程数据集介绍与加载数据构建模型训练模型保存模型加载 ...
使用Pytorch搭建U-Net网络并基于DRIVE数据集训练(语义分割)学习笔记
使用Pytorch搭建U-Net网络并基于DRIVE数据集训练(语义分割)学习笔记 https://www.bilibili.com/video/BV1rq4y1w7xM?spm_id_from=33 ...
睿智的目标检测30——Pytorch搭建YoloV4目标检测平台
睿智的目标检测30--Pytorch搭建YoloV4目标检测平台学习前言什么是YOLOV4 代码下载 YOLOV4改进的部分(不完全) YOLOV4结构解析 1.主干特征提取网络Backbone ...

pytorch搭建TextCNN与使用案例

TextCNN算法流程

完整代码

pytorch搭建TextCNN与使用案例相关推荐

最新文章

热门文章