基于酒店评论的文本情感分析
使用数据集: 谭松波–酒店评论语料
其中包含正面数据集和负面数据集
获取链接:https://pan.baidu.com/s/1oObY4A_Ovo1CY00UrgbBKg
提取码:kth7
这里感谢大佬的分享的数据:
原链接:
https://blog.csdn.net/LiuKingJia/article/details/104228617
本文中做的工作是将预料划分为积极和消极两种情感,目前使用的是SVM模型进行训练,但是该模型训练效果较差,后期会改用其他模型
达到准确率为76%
其中正向95%左右
负面55%左右(由于使用的数据集是不对称数据集,负面语料较少)
仅供学习
##该代码所有者为中国地质大学 2018级 信息安全专业 朱靖宇
import jieba
import numpy as np
import pandas as pd
import os.path
from gensim.models.word2vec import Word2Vec
import glob
from sklearn.externals import joblib
from sklearn.model_selection import cross_val_score
from sklearn.svm import SVC
test_path="data/test/"
tol_num=0
right=0
all_pos_files=glob.glob(os.path.join(test_path,"pos/*.txt"))
all_pos_files=glob.glob(os.path.join(test_path,"pos/*.txt"))
all_neg_files=glob.glob(os.path.join(test_path,"neg/*.txt"))
#以上是测试数据,未附,需要的人可以通过把后面的训练数据做划分得到测试集
stopLists_path="stoplist.txt"
stopwords=[]
with open(stopLists_path,'r',encoding='utf-8') as f_stop:for line in f_stop:if len(line)>0:stopwords.append(line.strip)
def split_stopwords(words,stoplist):word_list=[]for word in words:if (word.strip() not in stoplist):word_list.append(word.strip())return word_list
#读取文本,预处理
neg=pd.read_csv('data/汇总/汇总/neg.txt',sep='\n',header=None)
pos=pd.read_csv('data/汇总/汇总/pos.txt',sep='\n',header=None)
#此处为训练集neg['words']=neg[0].apply(lambda x: jieba.lcut(str(x).lstrip('-1 '))) #将函数应用到所有数据
pos['words']=pos[0].apply(lambda x: jieba.lcut(str(x).lstrip('-1 ')))pos_true=[]
neg_true=[]
for words in pos.words:pos_true.append(split_stopwords(words,stopwords))
for words in neg.words:neg_true.append(split_stopwords(words,stopwords))x=np.concatenate((pos_true,neg_true)) #合并训练集
y=np.concatenate((np.ones(len(pos_true)),np.zeros(len(neg_true)))) #标志,1 pos ,0 negif (os.path.exists("word_embedding")):w2v=Word2Vec.load("word_embedding")
else:w2v=Word2Vec(size=300,min_count=10)w2v.build_vocab(x)w2v.train(x,total_examples=w2v.corpus_count,epochs=w2v.iter)w2v.save("word_embedding")def total_vec(words):vec = np.zeros(300).reshape((1,300)) #初始化数组for word in words:try:vec += w2v.wv[word].reshape((1,300))except KeyError:continuereturn vectrain_vec = np.concatenate([total_vec(words) for words in x]) #计算每一句话向量def predict(s,stopList):s_words=jieba.lcut(s)s_words=split_stopwords(s_words,stopList)s_words_vec=total_vec(s_words)result =model.predict(s_words_vec)if int(result[0])==1:print(s,'[积极]')else:print(s,'[消极]')return result#SVMpartif (os.path.exists("SVC_model_Emotion.m")):model=joblib.load("SVC_model_Emotion.m")
else:model = SVC(kernel = 'rbf', verbose=True)model.fit(train_vec,y)joblib.dump(model,"SVC_model_Emotion.m")for file in all_pos_files:try:f=open(file,'r',encoding='GBK')test=f.read().strip()if (predict(test,stopwords) == 1):right += 1tol_num+=1except UnicodeDecodeError:continue
pos_right=right
pos_tol=tol_numfor file in all_neg_files:try:f=open(file,'r',encoding='GBK')test=f.read().strip()if (predict(test,stopwords)==0):right+=1tol_num+=1except UnicodeDecodeError:continue
neg_right=right-pos_right
neg_tol=tol_num-pos_tol
print("pos数据正确率为"+str(pos_right/pos_tol)+"总数据量为"+str(pos_tol)+"正确量为"+str(pos_right))
print("neg数据正确率为"+str(neg_right/neg_tol)+"总数据量为"+str(neg_tol)+"正确量为"+str(neg_right))
print("正确率为"+str(right/tol_num))
#单纯想交作业的人勿扰
基于酒店评论的文本情感分析相关推荐
- 基于微博评论的文本情感分析与关键词提取的实战案例~
点击上方"Python爬虫与数据挖掘",进行关注 回复"书籍"即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 宣室求贤访逐臣,贾生才调更无伦. ...
- 利用Python实现酒店评论的中文情感分析,含数据集
利用Python实现酒店评论的情感分析 完整代码下载地址:利用Python实现酒店评论的中文情感分析 情感极性分析,即情感分类,对带有主观情感色彩的文本进行分析.归纳.情感极性分析主要有两种分类方法: ...
- 基于IMDB评论数据集的情感分析
文章目录 前言 一.大型电影评论数据集介绍 二.环境配置 三.实验模型及流程 1.实验模型 2.实验流程 四.实验代码 1.多层感知器模型代码 2.递归神经网络模型代码 3.长短期记忆模型代码 五.实 ...
- python酒店评论分析_GitHub - huangpd/senti_analysis: 利用Python实现酒店评论的中文情感分析...
利用Python实现酒店评论的情感分析 情感极性分析,即情感分类,对带有主观情感色彩的文本进行分析.归纳.情感极性分析主要有两种分类方法:基于情感知识的方法和基于机器学习的方法.基于情感知识的方法通过 ...
- python酒店评论分析_GitHub - yikedouer/senti_analysis: 利用Python实现酒店评论的中文情感分析...
利用Python实现酒店评论的情感分析 情感极性分析,即情感分类,对带有主观情感色彩的文本进行分析.归纳.情感极性分析主要有两种分类方法:基于情感知识的方法和基于机器学习的方法.基于情感知识的方法通过 ...
- python酒店评论分析_GitHub - jiahuiiii/senti_analysis: 利用Python实现酒店评论的中文情感分析...
利用Python实现酒店评论的情感分析 情感极性分析,即情感分类,对带有主观情感色彩的文本进行分析.归纳.情感极性分析主要有两种分类方法:基于情感知识的方法和基于机器学习的方法.基于情感知识的方法通过 ...
- 自然语言处理——对电影评论的文本情感分析
题目(来自阿里云天池):数据主要包括IMDB网站上的电影评论文本数据. 数据分为训练数据和测试数据,分别保存在train.csv和test_noLabel.csv两个文件中. 字段说明如下: (1)I ...
- 基于IMDB评论数据集的情感分析/LSTM/Pytorch
1 研究任务一介绍 1.1 研究任务 给定IMDB影评数据集,采用全连接层网络和LSTM模型两种机器学习算法进行二元情感分类,以准确率为评测指标,进行分类算法性能评估与结果分析.数据集官方网址:Sen ...
- 基于SnowNLP的商品评论文本情感分析
摘要:情感文本电商情感标注分析研究是当前电商数据情感挖掘学术研究的重要热点,具有极高的国际应用价值.对当前电商手机在线商品评论词典进行情感文本电商情感标注分析与词典数据情感挖掘研究具有很 ...
最新文章
- HTC VIVE 虚拟现实眼镜VR游戏体验
- mysql8.0最低需要多少内存_MySQL8.0内存相关参数介绍
- 《算法竞赛入门经典》 习题4-1(象棋 Xiangqi ACM ICPC Fuzhou 2011,UVa1589)——仅提供大体方法
- shownews.php,newsshow.php
- C# 10 新特性 —— 插值字符串优化
- django models索引_sql – 为什么Django显式地在唯一字段上创建索引
- 【开发者笔记】java 利用jna调用c#的dll
- The servlet name already exists.解决方法
- VLOOKUP函数返回查询值左侧的数据
- PM2怎么保持Node应用程序永久活动?
- 清华大学李雅哲计算机,研究生教育动态 - 清华大学.pdf
- 使用STAR构建参考基因组并比对
- 专门查英语单词的软件_查英语单词的软件_有道翻译
- 汇编达人视频学习4(MOVS、STOS、REP、PUSH、POP、JMP、CALL、RET指令)
- HTML中<meta>标签的name属性都有哪些——标准元数据名称
- day19 文件操作
- 数学乐 --- 奇函数与偶函数(个人学习笔记)
- 【并发编程一:走进并发编程】
- 结对编程项目-四则运算整体总结
- 电话自动拨号自动录音
热门文章
- 高德地图的绘制路线、批量标记点和点的信息展示
- 评委拍案叫绝、项目惊喜不断,这是一届怎样的 Hackathon ?丨TiDB Hackathon 2021 回顾
- Fresco图片加载库的使用(SimpleDraweeView的简单使用 )
- 微信小程序可以用到的各大平台的免费接口
- 【图像识别】初探数字识别-水表(3)
- 杨凌九立机器人农博园观后感_陕西乡村旅游精彩亮相第25届杨凌农高会
- word的修订模式右侧会显示修订细节
- [HTMLDOM]onmousedown、onmouseup 以及onclick事件触发顺序
- 2023中职网络安全技能竞赛新题
- windows下搭建Linux开发环境