分词–list of list格式

（df2的来源请看上一篇博客https://blog.csdn.net/dongzixian/article/details/103474094）

import jieba
df2['cut'] = df2[0].apply(jieba.lcut)
df2.head()

from sklearn.model_selection import train_test_split
x_train,x_test,y_train,y_test = train_test_split(df2['cut'],df2['class'],test_size=0.3)
x_train

from gensim.models.word2vec import Word2Vec
model = Word2Vec(size=400,min_count=5)
model.build_vocab(x_train)

model.build_vocab(x_train)

model.wv.most_similar("好",topn=100)

model.wv.most_similar("不好",topn=100)

model.wv["不好"]

生成句向量

print(df2.cut[0])#（第一条）
print("第一条评论分词后词个数为：",len(df2.cut[0]))

将第一条评论转成word2vec矩阵

pd.DataFrame([model.wv[i] for i in df2.cut[0] if i in model.wv])

将第一条评论转成向量

vec1 = pd.DataFrame([model.wv[i] for i in df2.cut[0] if i in model.wv]).mean()
print(vec1)

生成word2vec句向量

def sen2vec(words):return  pd.DataFrame([model.wv[i] for i in df2.cut[0] if i in model.wv]).mean()
train_vec =  pd.DataFrame([sen2vec(s) for s in x_train])
train_vec

分类模型–支持向量机

from sklearn.svm import SVC
clf2 = SVC()
clf2.fit(train_vec,y_train)

clf2.score(train_vec,y_train)

SVM

from sklearn.metrics import classification_report
print(classification_report(y_train,clf2.predict(train_vec)))

生成测试集word2vec句向量

def sen2vec(words):return  pd.DataFrame([model.wv[i] for i in words if i in model.wv]).mean()
test_vec =  pd.DataFrame([sen2vec(s) for s in x_test])
test_vec

clf2.score(test_vec,y_test)

from sklearn.metrics import classification_report
print(classification_report(y_test,clf2.predict(test_vec)))

预测新评论

s = """...新评论..."""

s_seg1 = jieba.lcut(s)
s_word2vec = pd.DataFrame([model.wv[i] for i in s_seg1 if i in model.wv])
s_word2vec

s_vec = s_word2vec.mean()
s_vec

import numpy as np
s_vec = np.array(s_vec)
s_vec = s_vec.reshape(1,-1)
result_svm = clf2.predict(s_vec)
result_sum

情感分析--word2vec相关推荐

python word2vector_python使用Word2Vec进行情感分析解析
python实现情感分析(Word2Vec) ** 前几天跟着老师做了几个项目,老师写的时候劈里啪啦一顿敲,写了个啥咱也布吉岛,线下自己就瞎琢磨,终于实现了一个最简单的项目.输入文本,然后分析情感,判 ...
情感分析的描述、基于词袋模型和word2vec模型的情感分析实现
情感分析的描述.基于词袋模型和word2vec模型的情感分析实现以购物评论为例: # 读入原始数据集 import pandas as pddfpos = pd.read_excel('../dat ...
Pytorch+Text-CNN+Word2vec+电影评论情感分析实战
文章目录 0.前言 1.电影评论数据集 2.数据读取 3.数据预处理 4.准备训练和测试集 5.加载词向量模型Word2vec 6.定义网络 7.训练网络 8.测试网络和可视化 9.总结 0.前言很 ...
情感分析的现代方法（包含word2vec Doc2Vec）
英文原文地址:https://districtdatalabs.silvrback.com/modern-methods-for-sentiment-analysis 转载文章地址:http://da ...
html标签对word2vec,自然语言学习——使用word2vec对文本进行情感分析
本文主要讲述了如何对影评数据做情感分析,就是如何判断这条评论是好评还是差评.对文本处理的方法是word2vec,然后用随机森林的方法构建模型,最后训练模型进行预测.前面一.二部分主要是讲述如何处理文档 ...
Python自然语言处理相,新词发现，主题模型，隐马尔模型词性标注，Word2Vec，情感分析...
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 代码环境:python --version 3.5.2 tensorflow keras 代码 ...
利用python分析电商_基于Word2Vec+SVM对电商的评论数据进行情感分析
Word2Vec-sentiment 基于Word2Vec+SVM对电商的评论数据进行情感分析首先是利用word2vec对正负评论数据进行词向量训练,然后利用SVM分类器对语料进行分类,具体的过程如 ...
使用word2vec对微博进行情感分析和分类
Word2vec可以将词语转换为高维向量空间中的向量表示,它能揭示上下文关系.首先使用word2vec,将其训练得到词向量作为特征权重,然后根据情感词典和词性的两种特征选择方法筛选出有价值的特征,最后 ...
情感分析的新方法，使用word2vec对微博文本进行情感分析和分类
向AI转型的程序员都关注了这个号??? 大数据挖掘DT数据分析公众号: datadw 情感分析是一种常见的自然语言处理(NLP)方法的应用,特别是在以提取文本的情感内容为目标的分类方法中.通过这种 ...

情感分析--word2vec

分词–list of list格式

生成句向量

将第一条评论转成word2vec矩阵

将第一条评论转成向量

生成word2vec句向量

分类模型–支持向量机

SVM

生成测试集word2vec句向量

预测新评论

情感分析--word2vec相关推荐

最新文章

热门文章