lda 可以处理中文_用python处理文本数据
用python处理文本数据
Q:这篇文章主要讲什么?
A:这篇文章主要讨论如何用python来做一些简单的文本处理——文本相似度比较。
谈起python的自然语言处理,肯定会让人想起NLTK。不过上面这两个任务并不需要NLTK这个库,只是用到了gensim。由于涉及中文,所以还用到了jieba来做中文分词。
Q:Gensim是什么东西?
A:首先说说gensim是个怎样的python库吧。
由于这篇笔记只记录最简单的用法,所以gensim更详细的介绍,更强大的功能请到官网阅读文档:gensim官网。不懂英文?赶紧去补啊!
gensim
Gensim is a free Python library designed to automatically extract semantictopics from documents, as efficiently (computer-wise) and painlessly (human-wise) as possible.
简单来说,gensim的主要功能有把文本转为向量(scikit-learn也能做到),抽取文本中的关键词(jieba也能做到),比较两个文本的相似度,甚至是计算一个查询(本质也是一个文本)与一个文档集合中所有文档的关联程度(这个似乎只有gensim能做,sklearn和jieba都不能)。更强大的是,gensim库实现了word2vec算法(其实我目前不懂这个算法的原理)!。
gensim有三个主要模块——
- corpora:将文本转为向量,提供存储文本矩阵的方法。这里生产的向量形式是最基本的,族简单的,仅仅是为文档建立词典,然后计数文档中每个词出现的次数。
- models:将corpora生产的简单向量转化为其他各种不同的向量。可以选择的向量模型有TFIDF, LSI, RP, LDA, HDP等。用户可以先用corpora模块把文本转为简单向量,再用models模块得到自己需要的向量形式。
- similarites:提供计算文本相似度方法的模块。
gensim其他更强大的功能还没列出,所以想要深入学习就得去官网查阅文档了。
Q:如何使用gensim来计算文本相似度?
A:计算一个查询(字符串)与文档集中所有文档的相似度是搜索引擎的核心功能模块之一。gensim计算文本相似度的的套路就是先用copora模块把文档转为简单的稀疏矩阵;然后用models模块得到符合需要的向量模型;最后用similarities模块计算相似度。下面用一个案例来说明怎样计算文本相似度。
假设现在有一个八个文档组成的文档集:
texts = [ '什么是股票?', '股票是个什么玩意?', '新手怎样入门炒股?', '现在股市的风险大吗?', 'python的自然语言处理', 'gensim的主要功能有把文本转为向量', '提供存储文本矩阵的方法', '这篇文章主要讨论如何用python来做一些简单的文本处理']
由于文本转向量算法的原理是统计文本中每个单词出现的个数,所以我们还要把文档集里的每个文档切词,也就是说把一个文档编程一个单词列表(或者数组,或者任何数据容器iterable)。西方语言由于先天就用空格把词分开,而类似中文的东方语言则需要特定的分词模块。一个常用的中文分词模块是jieba分词——可以分词、可以做词性标注、可以抽取关键字的分词模块。详见官方文档(当然是中文的)。
docs = [jieba.lcut_for_search(i) for i in texts] #返回一个包含着很多单词列表的列表。In [4]: print docs[[u'什么', u'是', u'股票', u'?'], [u'股票', u'是', u'个', u'什么', u'玩意', u'?'], [u'新手', u'怎样', u'入门', u'炒股', u'?'], [u'现在', u'股市', u'的', u'风险', u'大', u'吗', u'?'], [u'python', u'的', u'自然', u'语言', u'自然语言', u'处理'], [u'gensim', u'的', u'主要', u'功能', u'有', u'把', u'文本', u'转为', u'向量'], [u'提供', u'存储', u'文本', u'矩阵', u'的', u'方法'], [u'这', u'文章', u'篇文章', u'主要', u'讨论', u'如何', u'用', u'python', u'来', u'做', u'一些', u'简单', u'的', u'文本', u'本处', u'处理', u'文本处理']]#原谅我的机器在打印整个列表时,所有中文会变成unicode编码
下一步是构建文档集(单词列表集)的词典,然后利用词典来用向量表示文档
In [10]: dic = corpora.Dictionary(docs)In [11]: print dic #这个词典给文档集中每个单词编号Dictionary(45 unique tokens: [u'风险', u'本处', u'的', u'处理', u'什么']...)In [12]: corpus = [dic.doc2bow(i) for i in docs]In [13]: print corpus [[(0, 1), (1, 1), (2, 1), (3, 1)], [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1)], [(3, 1), (6, 1), (7, 1), (8, 1), (9, 1)], [(3, 1), (10, 1), (11, 1), (12, 1), (13, 1), (14, 1), (15, 1)], [(12, 1), (16, 1), (17, 1), (18, 1), (19, 1), (20, 1)], [(12, 1), (21, 1), (22, 1), (23, 1), (24, 1), (25, 1), (26, 1), (27, 1), (28, 1)], [(12, 1), (25, 1), (29, 1), (30, 1), (31, 1), (32, 1)], [(12, 1), (16, 1), (17, 1), (24, 1), (25, 1), (33, 1), (34, 1), (35, 1), (36, 1), (37, 1), (38, 1), (39, 1), (40, 1), (41, 1), (42, 1), (43, 1), (44, 1)]]#这是稀疏矩阵的一种形式,每个列表的每个括号表示(词编号,词的出现次数)
这样一来,文本就转换成矩阵了。不过这个矩阵的向量模型非常简单,我们要用一个高级一点的LSI(潜语义分析)向量模型来做相似度计算。应用models模块的可以做到向量模型的转换。
In [14]: lsi = models.LsiModel(corpus, id2word=dic, num_topics=2)
向量模型转换完成,下面开始进行计算相似度的工作。为了方便和明显,我们计算一下“股票”这个词和“文本”这两个查询与文档集中八个文档的相似度。如果没有意外,按照我们的直觉,我们会看到“股票”这个查询和文档集中前四个文档比较相似,“文本”这个查询和文档集中后四个文档比较相似。
In [21]: qurey1 = "股票" #首先把这两个查询也变成向量 ...: qurey2 = '文本' ...: vec_query1 = dic.doc2bow([qurey1]) ...: vec_query2 = dic.doc2bow([qurey2])In [22]: index = similarities.MatrixSimilarity(lsi[corpus])#然后建立索引(估计是倒排词表,下面的就不怎么懂了)In [23]: sims1 = index[lsi[vec_query1]] ...: sims2 = index[lsi[vec_query2]]#得到了查询语句与哥哥文档的相似度In [24]: sims_result1 = sorted(enumerate(sims1), key=lambda item: -item[1]) ...: sims_result2 = sorted(enumerate(sims2), key=lambda item: -item[1])#给结果排一下序 In [25]: print sims_result1[(1, 0.99990207), (0, 0.99984658), (2, 0.99941468), (3, 0.93057805), (6, 0.31655648), (5, 0.27374423), (4, 0.12518336), (7, -0.11772308)]In [27]: print sims_result2[(4, 0.99776512), (7, 0.98443955), (5, 0.97619325), (6, 0.96549642), (3, 0.4200055), (2, 0.092727646), (0, 0.076089963), (1, 0.07257086)]
很明显的看到“股票”这个查询和文档集中前四个文档比较相似,“文本”这个查询和文档集中后四个文档比较相似,这也是符合我们的常识的。
完整代码:
#coding: utf-8import sys, jiebafrom gensim import corpora, models, similaritiesreload(sys)sys.setdefaultencoding('utf8')texts = [ '什么是股票?', '股票是个什么玩意?', '新手怎样入门炒股?', '现在股市的风险大吗?', 'python的自然语言处理', 'gensim的主要功能有把文本转为向量', '提供存储文本矩阵的方法', '这篇文章主要讨论如何用python来做一些简单的文本处理']docs = [jieba.lcut_for_search(i) for i in texts]dic = corpora.Dictionary(docs)corpus = [dic.doc2bow(i) for i in docs]lsi = models.LsiModel(corpus, id2word=dic, num_topics=2)qurey1 = "股票"qurey2 = '文本'vec_query1 = dic.doc2bow([qurey1])vec_query2 = dic.doc2bow([qurey2])index = similarities.MatrixSimilarity(lsi[corpus])sims1 = index[lsi[vec_query1]]sims2 = index[lsi[vec_query2]]sims_result1 = sorted(enumerate(sims1), key=lambda item: -item[1])sims_result2 = sorted(enumerate(sims2), key=lambda item: -item[1])print sims_result1print sims_result2
由于作者对于文本处理和gensim的原理还不太懂,如有不当之处,欢迎高手指点
lda 可以处理中文_用python处理文本数据相关推荐
- python中数据用折线图表示_用python处理文本数据
用python处理文本数据 Q:这篇文章主要讲什么? A:这篇文章主要讨论如何用python来做一些简单的文本处理--文本相似度比较. 谈起python的自然语言处理,肯定会让人想起NLTK.不过上面 ...
- 使用Python清洗文本数据
点击关注我哦 一篇文章带你了解使用Python清洗文本数据 数据格式并不总是表格格式.随着我们进入大数据时代,数据具有相当多样化的格式,包括图像,文本,图形等. 由于格式非常多样,从一种数据到另一种数 ...
- 用Python 处理文本数据
用Python 处理文本数据 前言 HI,好久不见,今天是关闭朋友圈的第60天,我是野蛮成长的AC-Asteroid. 人生苦短,我用Python,通过短短两周时间自学,从基础知识到项目实践, ...
- python读取文本数据绘制曲线图
目录 写在前面 代码 reference 写在前面 1.本文内容 python读取文本数据曲线图 2.转载请注明出处: https://blog.csdn.net/qq_41102371/articl ...
- 用python处理文本数据,并删除处理之后的数据(Python经典编程案例)
用python处理文本数据,并删除处理之后的数据: # 根据条件把一个文本分成两个文本 # with open(r'list_object.txt', 'r') as file: # lines = ...
- 用python玩转数据第一周答案_用Python玩转数据_答案
用Python玩转数据_答案 答案: 更多相关问题 求由参数方程所确定的函数y=y(x)的二阶导数 已知数列的通项公式,则取最小值时=,此时=. (本小题满分10分)已知是等差数列,其中](1)求的通 ...
- python处理nc数据_利用python如何处理nc数据详解
利用python如何处理nc数据详解 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: 利用python如何处理nc数据详解.txt ] (友情提示:右键点上行txt ...
- 爬虫goodreads数据_使用Python从Goodreads数据中预测好书
爬虫goodreads数据 Photo of old books by Ed Robertson on Unsplash 埃德·罗伯森 ( Ed Robertson)的旧书照片,内容为Unsplash ...
- python自动获取天气_用python获取天气数据,并作定时播报
原标题:用python获取天气数据,并作定时播报 数据挖掘入门与实战 公众号: datadw 思路 1.调用和风天气的API,获取天气数据 2.用百度语音API,将天气数据合成语音 3.用树莓派每天早 ...
最新文章
- 数学各个研究方向简介
- TypeScript之Https通信
- ACM 配置中心实战:Spring + MyBatis + Druid + ACM
- scratch绘制多边形_如何使用Scratch 3绘制矢量图形
- 【less-4】sqli-labs靶场第四关
- 【笔记】定积分的近似计算
- ICCV2021|性能优于何恺明团队MoCo v2,DetCo:为目标检测定制任务的对比学习
- 网易云 计算机,网易云音乐电脑版2.7.4.198336_网易云音乐 - 系统之家
- android app报告,知乎APP用户体验报告
- azkaban报Error Chunking during uploading files to db
- 突破微信服务号群发限制
- 杭州出租车改革何以值得肯定
- taobao.item.update.listing( 一口价商品上架 )
- 数据库(Mysql)学习
- 《我的眼睛--图灵识别》第十一章:实战演练:图像类识别
- 转贴-- CISCO CPOS STM配置示例
- Linux服务器多网卡网络汇聚(聚合)
- flash助手推送关闭
- 再见,itchat!再见,网页版微信!
- 文件搜索引擎FileSearch