python自然语言分析何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？

最近正在用nltk 对中文网络商品评论进行褒贬情感分类，计算评论的信息熵(entropy)、互信息(point mutual information)和困惑值(perplexity)等(不过这些概念我其实也还理解不深...只是nltk 提供了相应方法)。

我感觉用nltk 处理中文是完全可用的。其重点在于中文分词和文本表达的形式。

中文和英文主要的不同之处是中文需要分词。因为nltk 的处理粒度一般是词，所以必须要先对文本进行分词然后再用nltk 来处理(不需要用nltk 来做分词，直接用分词包就可以了。严重推荐结巴分词，非常好用)。

中文分词之后，文本就是一个由每个词组成的长数组：[word1, word2, word3…… wordn]。之后就可以使用nltk 里面的各种方法来处理这个文本了。比如用FreqDist 统计文本词频，用bigrams 把文本变成双词组的形式：[(word1, word2), (word2, word3), (word3, word4)……(wordn-1, wordn)]。

再之后就可以用这些来计算文本词语的信息熵、互信息等。

再之后可以用这些来选择机器学习的特征，构建分类器，对文本进行分类(商品评论是由多个独立评论组成的多维数组，网上有很多情感分类的实现例子用的就是nltk 中的商品评论语料库，不过是英文的。但整个思想是可以一致的)。

另外还有一个困扰很多人的Python 中文编码问题。多次失败后我总结出一些经验。

Python 解决中文编码问题基本可以用以下逻辑：

utf8(输入) ——> unicode(处理) ——> (输出)utf8

Python 里面处理的字符都是都是unicode 编码，因此解决编码问题的方法是把输入的文本(无论是什么编码)解码为(decode)unicode编码，然后输出时再编码(encode)成所需编码。

由于处理的一般为txt 文档，所以最简单的方法，是把txt 文档另存为utf-8 编码，然后使用Python 处理的时候解码为unicode(sometexts.decode('utf8'))，输出结果回txt 的时候再编码成utf8(直接用str() 函数就可以了)。

另外这篇文章也有很详细的讲到nltk 的中文应用，很值得参考：http://blog.csdn.net/huyoo/article/details/12188573

python自然语言分析何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？相关推荐

python如何让图片镜像翻转_如何用 Python 增量备份 Roam Research 笔记图片？
消除后顾之忧,轻松输入卡片笔记. 题图:Photo by Markus Spiske on Unsplash 前些日子,我用视频的方式给你介绍了 Roam Research 这款工具.如果你还没有来得 ...
python词云有什么用_如何用Python实现词云效果
如何用Python实现词云效果发布时间:2020-06-06 10:56:57 来源:亿速云阅读:204 作者:Leah 这篇文章主要为大家详细介绍了用Python实现词云效果的方法,图文详解容易 ...
python怎样打开加密的文件_如何用Python 加密文件
生活中,有时候我们需要对一些重要的文件进行加密,Python 提供了诸如 hashlib,base64 等便于使用的加密库. 但对于日常学习而言,我们可以借助异或操作,实现一个简单的文件加密程序,从而 ...
用python写用手机发邮件_如何用python写发邮件？
原标题:如何用python写发邮件? 1. 163邮箱 163邮箱需要设置客户端授权密码请输入图片描述 # coding:utf-8 from email.header import Header ...
如何用python完成基本统计信息计算_如何用python计算基本统计值？
如何用python计算基本统计值? 用python计算基本统计值的代码为def getNum(): #从控制台获取多个不确定数据的方法 nums = []; iNumStr = input(" ...
python生僻字如何转码_如何用Python检测生僻字
最近在工作中碰到一个需求,要求检测字段是否包含生僻字以及一些非法字符如 ~!@#$%^&*.通过网上的查找资料解决了,现在将解决的过程和示例代码分享给大家,有需要的可以参考借鉴.下面来一起看看 ...
python怎么实现音乐快进_如何用PYTHON代码写出音乐【】
如何制作MIDI(用于vocaloid 3) 我也是因为V家才来找midi的如何用PYTHON代码写出音乐在python-midi,每个乐谱用Pattern对象表示,乐的每个音轨(通常音乐很多轨道 ...
用python画小猪佩奇的编码_如何用python绘制小猪佩奇-python绘图教程图文讲解
原标题:如何用python绘制小猪佩奇-python绘图教程图文讲解如何运用python来绘制小猪佩奇呢?通过几道简单的python代码即可让你绘制出小猪佩奇,话不多说,直接上代码. 用python ...
用python输入任意三条边长_如何用python求第三条边边长
用Python实现"已知三角形两个直角边,求斜边" 要求:用户输入两个直角边(数值为浮点类型),若非浮点类型,则提示用户,继续输入. 思路:伪代码描述下步骤 1.-input a ...

python自然语言分析何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？

python自然语言分析何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？相关推荐

最新文章

热门文章

python自然语言分析 何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？

python自然语言分析 何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？相关推荐

最新文章

热门文章

python自然语言分析何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？

python自然语言分析何翠仪_如何用 Python 中的 NLTK 对中文进行分析和处理？相关推荐