Bert+BiLSTM做情感分析

情感分析

情感分析一类的任务比如商品评价正负面分析，敏感内容分析，用户感兴趣内容分析、甚至安全领域的异常访问日志分析等等实际上都可以用文本分类的方式去做，情感分析的问题本质是个二分类或者多分类的问题。

什么是Bert？

BERT的全称为Bidirectional Encoder Representation from Transformers，是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。

该模型有以下主要优点：

1）采用MLM对双向的Transformers进行预训练，以生成深层的双向语言表征。

2）预训练后，只需要添加一个额外的输出层进行fine-tune，就可以在各种各样的下游任务中取得state-of-the-art的表现。在这过程中并不需要对BERT进行任务特定的结构修改。

今天我们使用Bert+BiLSTM实现对菜品正负评价的情感分析预测！

数据集

数据集是我们搜集了一些菜品的正负评价，正面的评价标记为1，负面评价标记为0，将其保存为csv文件。

将数据集放在工程的根目录

下载预训练模型

下载地址：https://huggingface.co/bert-base-chinese/tree/main。

我们的数据集是中文，所以，选择中文的预训练模型，这点要注意，如果选择其他的可能会出现不收敛的情况。将下图中画红框的文件加载下来。

在工程的根目录，新建文件夹“bert_base_chinese”，将下载的模型放进去，如下图：

模型

思路：将bert做为嵌入层提取特征，然后传入BiLSTM，最后使用全连接层输出分类。创建bert_lstm模型，代码如下：

class bert_lstm(nn.Module):def __init__(self, bertpath, hidden_dim, output_size,n_layers,bidirectional=True, drop_prob=0.5):super(bert_lstm, self).__init__()self.output_size = output_sizeself.n_layers = n_layersself.hidden_dim = hidden_dimself.bidirectional = bidirectional#Bert ----------------重点，bert模型需要嵌入到自定义模型里面self.bert=BertModel.from_pretrained(bertpath)for param in self.bert.parameters():param.requires_grad = True# LSTM layersself.lstm = nn.LSTM(768, hidden_dim, n_layers, batch_first=True,bidirectional=bidirectional)# dropout layerself.dropout = nn.Dropout(drop_prob)# linear and sigmoid layersif bidirectional:self.fc = nn.Linear(hidden_dim*2, output_size)else:self.fc = nn.Linear(hidden_dim, output_size)#self.sig = nn.Sigmoid()def forward(self, x, hidden):batch_size = x.size(0)#生成bert字向量x=self.bert(x)[0]     #bert 字向量# lstm_out#x = x.float()lstm_out, (hidden_last,cn_last) = self.lstm(x, hidden)#print(lstm_out.shape)   #[32,100,768]#print(hidden_last.shape)   #[4, 32, 384]#print(cn_last.shape)    #[4, 32, 384]#修改 双向的需要单独处理if self.bidirectional:#正向最后一层，最后一个时刻hidden_last_L=hidden_last[-2]#print(hidden_last_L.shape)  #[32, 384]#反向最后一层，最后一个时刻hidden_last_R=hidden_last[-1]#print(hidden_last_R.shape)   #[32, 384]#进行拼接hidden_last_out=torch.cat([hidden_last_L,hidden_last_R],dim=-1)#print(hidden_last_out.shape,'hidden_last_out')   #[32, 768]else:hidden_last_out=hidden_last[-1]   #[32, 384]# dropout and fully-connected layerout = self.dropout(hidden_last_out)#print(out.shape)    #[32,768]out = self.fc(out)return outdef init_hidden(self, batch_size):weight = next(self.parameters()).datanumber = 1if self.bidirectional:number = 2if (USE_CUDA):hidden = (weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float().cuda(),weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float().cuda())else:hidden = (weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float(),weight.new(self.n_layers*number, batch_size, self.hidden_dim).zero_().float())return hidden

bert_lstm需要的参数功6个，参数说明如下：

–bertpath：bert预训练模型的路径

–hidden_dim：隐藏层的数量。

–output_size：分类的个数。

–n_layers：lstm的层数

–bidirectional：是否是双向lstm

–drop_prob：dropout的参数

定义bert的参数，如下：

class ModelConfig:batch_size = 2output_size = 2hidden_dim = 384   #768/2n_layers = 2lr = 2e-5bidirectional = True  #这里为True，为双向LSTM# training paramsepochs = 10# batch_size=50print_every = 10clip=5 # gradient clippinguse_cuda = USE_CUDAbert_path = 'bert-base-chinese' #预训练bert路径save_path = 'bert_bilstm.pth' #模型保存路径

batch_size：batchsize的大小，根据显存设置。

output_size：输出的类别个数，本例是2.

hidden_dim：隐藏层的数量。

n_layers：lstm的层数。

bidirectional：是否双向

print_every：输出的间隔。

use_cuda：是否使用cuda，默认使用，不用cuda太慢了。

bert_path：预训练模型存放的文件夹。

save_path：模型保存的路径。

配置环境

需要下载transformers和sentencepiece，执行命令：

conda install sentencepiece
conda install transformers

数据集切分

数据集按照7:3，切分为训练集和测试集，然后又将测试集按照1：1切分为验证集和测试集。

代码如下：

model_config = ModelConfig()data=pd.read_csv('caipindianping.csv',encoding='utf-8')result_comments = pretreatment(list(data['comment'].values))tokenizer = BertTokenizer.from_pretrained(model_config.bert_path)result_comments_id = tokenizer(result_comments,padding=True,truncation=True,max_length=200,return_tensors='pt')X = result_comments_id['input_ids']y = torch.from_numpy(data['sentiment'].values).float()X_train,X_test, y_train, y_test = train_test_split( X,y,test_size=0.3,shuffle=True,stratify=y,random_state=0)X_valid,X_test,y_valid,y_test = train_test_split(X_test,y_test,test_size=0.5,shuffle=True,stratify=y_test,random_state=0)

训练、验证和预测

训练详见train_model函数，验证详见test_model，单次预测详见predict函数。

代码和模型链接：
https://download.csdn.net/download/hhhhhhhhhhwwwwwwwwww/36305682

NLP进阶，Bert+BiLSTM情感分析实战相关推荐

NLP自然语言处理之情感分析分析讲解、知识构建
!!!!!!不要急着代码,搞清楚原理知识结构才下手,以后还指着它吃饭呢,又不是水一篇论文当混子!!!!!!! !!!!!!书越读越薄,本文源自:https://blog.csdn.net/linxid ...
情感分析实战(中文)-共现语义篇
情感分析实战(中文)-共现语义网络分析背景:该专栏的目的是将自己做了N个情感分析的毕业设计的一个总结版,不仅自己可以在这次总结中,把自己过往的一些经验进行归纳,梳理,巩固自己的知识从而进一步提升,而 ...
【Python自然语言处理】使用逻辑回归（logistic）对电影评论情感分析实战（超详细附源码）
需要源码和数据集请点赞关注收藏后评论区留言私信~~~ 一.舆情分析舆情分析很多情况下涉及到用户的情感分析,或者亦称为观点挖掘,是指用自然语言处理技术.文本挖掘以及计算机语言学等方法来正确识别和提取文 ...
情感分析实战(英文)-数据预处理篇
情感分析实战(英文)-数据预处理与情感分类模块背景:该专栏的目的是将自己做了N个情感分析的毕业设计的一个总结版,不仅自己可以在这次总结中,把自己过往的一些经验进行归纳,梳理,巩固自己的知识从而进一步 ...
[NLP]基于IMDB影评情感分析之BERT实战-测试集上92.24%
系列文章目录深度学习NLP(一)之Attention Model; 深度学习NLP(二)之Self-attention, Muti-attention和Transformer; 深度学习NLP(三) ...
NLP研究方向的「情感分析领域」的简单调研
情感分析领域相关内容,非正式综述,仅供参考.有些链接在可能在微信文章失效,请点击阅读原文获取. (https://blog.csdn.net/DoJintian/article/details/883 ...
NLP自然语言处理-Pytorch情感分析简介
一.概念简介本质上是一个分类任务,其一般是指判断一段文本所表达的情绪状态.其中,一段文本可以是一个句子,一个段落或一个文档.情绪状态可以是两类,如(正面,负面),(高兴,悲伤):也可以是三类,如(积 ...
Pytorch+Text-CNN+Word2vec+电影评论情感分析实战
文章目录 0.前言 1.电影评论数据集 2.数据读取 3.数据预处理 4.准备训练和测试集 5.加载词向量模型Word2vec 6.定义网络 7.训练网络 8.测试网络和可视化 9.总结 0.前言很 ...
AI学习笔记（十八）NLP常见场景之情感分析
目录情感分析基于情感词典的传统算法基于深度学习的算法情感分析情感分析是自然语言处理中常见的场景,对于指导产品更新迭代具有关键性的作用. 通过情感分析,可以挖掘产品在各个维度的优劣,从而明确如 ...

NLP进阶，Bert+BiLSTM情感分析实战