旅游评论情感分析(2)---前期调查总结

经过遍历了一下最近八年的自然语言处理的项目，比赛，算法。初步了解了一下流程之后，最后制定出来了一个大致的步骤。

以下是关于NLP的基本步骤

数据预处理
中文分词
—— (方法)基于词典基于规则基于统计基于字标注基于人工智能
——（工具)哈工大资料，东北大学资料，中科院，波森，jieba,ansj,HanLP
特征提取
—— (方法)根据词性，单词组合，位置
—— (方式)词是否出现，词的次数
特征选择
—— (方法)去停词，卡方，互信息
—— (工具)word2vec, doc2vec
分类模型
—— (NB-SVM， LSTM，隐马尔科夫，贝叶斯)
识别结果

其实可以把马尔科夫链看作是贝叶斯是他的延续
之后再github上面找到了一个开源的代码直接可以进行感情分析
而且作者真的巨良心，里面所有的代码没封装所以直接也可以根据他写的代码做一下二次开发，像我这种代码极其不规范的人来说，真的是一个很好的学习模板
下述是github上面readme的相关关于这个代码的方法总结
1.数据预处理

2.中文分析(Character-Based Generative Model）论文出处

3.特征提取
词性标注(TnT 3-gram 隐马）

4.特征选择
朴素贝叶斯

我们需要做的是模型改进比如中间可以用word2vec进行特征提取，在特征选择是也可以改成SVM和lstm进行相关的测评。其实最后还随便套了类似决策树的模型进行比较。

意义不大，随着我之后要考研，其实在算法研究上面没有得到有效的弥补

最后确定的方案如下：
分词——jieba,NLTK
特征提取——word2vec
Model ——
1.lstm
2.Nb-SVM
3.朴素贝叶斯(snownlp)
4.最大熵

附录：

在MIT自然语言课上截图的步骤：
文本—标志器—语法分析—语义理解—处理

以下是做这个项目我所查阅的相关资料：

1.利用python实现酒店评论的中文情感分析
2.ADER（Valence Aware Dictionary and sEntiment Reasoner）
3.一个很详细分析的情感分析的博客
4.情感极性分析repository1：基于情感词典、k-NN、Bayes、最大熵、SVM的情感极性分析。
5.使用深度学习方法对IMDB电影评价做情感分析，使用的方法分别为：MLP、BiRNN、BiGRU+Attention Model
6.[Algorithm & NLP] 文本深度表示模型—word2vec&doc2vec词向量模型
7.jieba分析资料
8.NLP之淘宝商品评论情感分析
9.知乎情感分析
10.机器学习-基于LSTM的情感分析

旅游评论情感分析(2)---前期调查总结相关推荐

旅游评论情感分析(1)---爬虫(json篇)
从今天开始准备整理一下,之前的写过的一些小项目. 这一个项目是我唯一一个接触NLP的项目,因为身边的老师大多是从事CV 机器视觉一块的项目. 而对于我而言,NLP其实是我学习机器学习的初衷. 所以关于 ...
Python_001_旅游评论情感倾向性分析_000_分析(基于深度学习的微博评论情感倾向性分析_胡西祥)论文
Python_001_旅游评论情感倾向性分析_000_分析论文-2020-8-21 知网链接:基于深度学习的微博评论情感倾向性分析 - 中国知网 (cnki.net) ps.只做分析概括目录一.论 ...
Python_001_旅游评论情感倾向性分析
Python_001_旅游评论情感倾向性分析_000_分析(基于深度学习的微博评论情感倾向性分析_胡西祥)论文 Python_001_旅游评论情感倾向性分析_001_基于Word2Vec词向量训练 P ...
Pytorch+Text-CNN+Word2vec+电影评论情感分析实战
文章目录 0.前言 1.电影评论数据集 2.数据读取 3.数据预处理 4.准备训练和测试集 5.加载词向量模型Word2vec 6.定义网络 7.训练网络 8.测试网络和可视化 9.总结 0.前言很 ...
自然语言处理NLP-100例 | 第二篇：在线课程评论情感分析-本科毕设实战案例
大家好,我是K同学啊~ 春去秋来,时间就这样嘀嗒嘀嗒的过去,不知道大家的毕设做得怎么样了呢 K同学就今天和大家分享一篇关于在线课程评论情感分析的实战案例,帮助大家找找灵感. 数据用的是一份公开的在线课 ...
AI Challenger 2018：细粒度用户评论情感分析冠军思路总结
2018年8月-12月,由美团点评.创新工场.搜狗.美图联合主办的"AI Challenger 2018全球AI挑战赛"历经三个多月的激烈角逐,冠军团队从来自全球81个国家.100 ...
【自然语言处理（NLP）】基于FNN网络的电影评论情感分析
[自然语言处理(NLP)]基于FNN网络的电影评论情感分析作者简介:在校大学生一枚,华为云享专家,阿里云专家博主,腾云先锋(TDP)成员,云曦智划项目总负责人,全国高等学校计算机教学与产业实践资源建 ...
商品评论情感分析——基于商品评论建立的产品综合评价模型（1）
商品评论情感分析--基于用户评论建立的产品综合评价模型(1) 1.背景 1.1问题分析 2.数据预处理 2.1删除无关数据 2.2文本去重 3.情感分析 4.LDA主题模型 4.1评论文本分词 4.2 ...
python 获取csv的列数_《极限挑战》弹幕及评论情感分析（Python）
一.数据说明本次实验用到的数据是前三季<极限挑战>第一期视频的评论数据和弹幕数据. 二.数据来源本次实验所有数据均从bilibili爬取和处理得到. (1)视频来源评论和弹幕数据来源 ...

旅游评论情感分析(2)---前期调查总结

旅游评论情感分析(2)---前期调查总结相关推荐

最新文章

热门文章