大话中文文本分类之前数据处理

基本操作就是将要分类的文本用正则匹配一下
之后迭代成列表去重一下,得到 vocab
(后期训练的时候也要使用,这个正则表达式,否则字符不在vocab中无法编码)
接着进行编码,就是一个字符也就是中文和标点符号用一个数字代表
形成一个字典word2id 例如 { “你”:0}
其实各种格式和存储方式的训练数据集,考验的就是你的python 基本功好不好
也就是数据结构的和数据类型的处理.本人因为从事过RPA ,经常要爬虫处理各种数据,练就了超强的基本功,所以对于任何文件都能处理成想要的格式
接下来就秀一波代码:

import math
import torch
import numpy as np
import torch.nn as nn
import torch.optim as optim
import torch.utils.data as Data

大话中文文本分类之前数据处理相关推荐

大话中文文本分类之TextRCNN
# coding: UTF-8 import torch import torch.nn as nn import torch.nn.functional as F import numpy as n ...
大话中文文本分类之Transformers
import torch import torch.nn as nn import torch.nn.functional as F import numpy as np import copycla ...
大话中文文本分类之TextRNN_ATT
# coding: UTF-8 import torch import torch.nn as nn import torch.nn.functional as F import numpy as n ...
大话中文文本分类之TextRNN
# coding: UTF-8 import torch import torch.nn as nn import numpy as npclass Config(object):"&quo ...
大话中文文本分类之fastText
# coding: UTF-8 import torch import torch.nn as nn import torch.nn.functional as F import numpy as n ...
大话中文文本分类之DPCNN
# coding: UTF-8 import torch import torch.nn as nn import torch.nn.functional as F import numpy as n ...
大话中文文本分类之textCNN
# coding: UTF-8 import torch import torch.nn as nn import torch.nn.functional as F import numpy as n ...
TensorFlow使用CNN实现中文文本分类
TensorFlow使用CNN实现中文文本分类读研期间使用过TensorFlow实现过简单的CNN情感分析(分类),当然这是比较low的二分类情况,后来进行多分类情况.但之前的学习基本上都是在英文词 ...
Pytorch TextCNN实现中文文本分类（附完整训练代码）
Pytorch TextCNN实现中文文本分类(附完整训练代码) 目录 Pytorch TextCNN实现中文文本分类(附完整训练代码) 一.项目介绍二.中文文本数据集 (1)THUCNews文本数 ...

大话中文文本分类之前数据处理

大话中文文本分类之前数据处理相关推荐

最新文章

热门文章