pytorch 和nltk 结合训练的例子

对于任何一个深度学习的框架，都能够训练文本数据，当然NLTK在自然语言处理也占有一定的名声和权重

任何东西都离不开你我

来源 github

# 导入torch的模块
import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.optim as optim
import torch.nn.functional as F
import nltk
import random
import numpy as np
from collections import Counter
flatten = lambda l: [item for sublist in l for item in sublist]
random.seed(1024)

flatten([[1,2,3]]) # [1, 2, 3]

这个配置GPU的，我觉得CPU 也可以，速度不是很慢

# USE_CUDA = torch.cuda.is_available()
# gpus = [0]
# torch.cuda.set_device(gpus[0])
# FloatTensor = torch.cuda.FloatTensor if USE_CUDA else torch.FloatTensor
# LongTensor = torch.cuda.LongTensor if USE_CUDA else torch.LongTensor
# ByteTensor = torch.cuda.ByteTensor if USE_CUDA else torch.ByteTensor

# 批处理
def getBatch(batch_size, train_data):random.shuffle(train_data)sindex = 0

pytorch 和nltk 结合训练的例子相关推荐

pytorch多gpu并行训练操作指南
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 来源:知乎作者:link-web 链接:https://zhuanlan.zhi ...
【深度学习】翻译：60分钟入门PyTorch（四）——训练一个分类器
前言原文翻译自:Deep Learning with PyTorch: A 60 Minute Blitz 翻译:林不清(https://www.zhihu.com/people/lu-guo-92 ...
PyTorch多卡分布式训练：DistributedDataParallel (DDP) 简要分析
©作者 | 伟大是熬出来的单位 | 同济大学研究方向 | 机器阅读理解前言因为课题组发的卡还没有下来,先向导师问了实验室的两张卡借用.之前都是单卡训练模型,正好在这个机会实践以下单机多卡训练模 ...
收藏 | PyTorch深度学习模型训练加速指南2021
点上方蓝字计算机视觉联盟获取更多干货在右上方 ··· 设为星标 ★,与你不见不散仅作学术分享,不代表本公众号立场,侵权联系删除转载于:作者:LORENZ KUHN 编译:ronghuaiyang ...
pytorch多gpu并行训练
pytorch多gpu并行训练 link-web 转自:pytorch多gpu并行训练 - 知乎目录(目录不可点击) 说明 1.和DataParallel的区别 2.如何启动程序的时候 2.1 单机 ...
PyTorch：优化神经网络训练的17种方法
点击上方"机器学习与生成对抗网络",关注星标获取有趣.好玩的前沿干货! 选自efficientdl.com,作者:LORENZ KUHN 机器之心编译本文介绍在使用 PyTor ...
PyTorch 大批量数据如何训练?
对于大多数的个人学习小伙伴来说,无法拥有一台性能超强的深度学习主机,更没有运算超群的服务器来供自己训练模型,但是又不得不对进行训练时,矛盾就产生了! 在深度学习训练中,我们经常遇到 GPU 的内存太小 ...
Pytorch自动混合精度(AMP)训练
相关问题:解决pytorch半精度amp训练nan问题 - 知乎 pytorch模型训练之fp16.apm.多GPU模型.梯度检查点(gradient checkpointing)显存优化等 - 知乎 ...
基于pytorch的模型稀疏训练与模型剪枝示例
基于pytorch的模型稀疏训练与模型剪枝示例稀疏训练+模型剪枝代码下载地址:下载地址 CIFAR10-VGG16BN Baseline Trained with Sparsity (1e-4) P ...

pytorch 和nltk 结合训练的例子

pytorch 和nltk 结合训练的例子相关推荐

最新文章

热门文章