【数据平台】python语言NLP库Gensim初识

1、基本介绍

Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。它支持包括TF-IDF，LSA，LDA，和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口。

官网：https://radimrehurek.com/gensim/

https://pypi.python.org/pypi/gensim/

安装：pip install gensim

2、基本概念：

语料（Corpus）：一组原始文本的集合，用于无监督地训练文本主题的隐层结构。语料中不需要人工标注的附加信息。在Gensim中，Corpus通常是一个可迭代的对象（比如列表）。每一次迭代返回一个可用于表达文本对象的稀疏向量。
向量（Vector）：由一组文本特征构成的列表。是一段文本在Gensim中的内部表达。
稀疏向量（Sparse Vector）：通常，我们可以略去向量中多余的0元素。此时，向量中的每一个元素是一个(key, value)的tuple。
模型（Model）：是一个抽象的术语。定义了两个向量空间的变换（即从文本的一种向量表达变换为另一种向量表达）。

gensim 是一个通过衡量词组（或更高级结构，如整句或文档）模式来挖掘文档语义结构的工具。gensim 以“文集”——文本文档的集合——作为输入，并生成一个“向量”来表征该文集的文本内容，从而实现语义挖掘。该向量表示可被用于训练一个“模型”。模型是从数据生成不同特征的算法集，通常是更为语义化的。

3、功能：预料处理、文本向量化、文本相似度等。

【数据平台】python语言NLP库Gensim初识相关推荐

python语言Camelot库: 人类的 PDF 表提取
python语言Camelot库: 人类的 PDF 表提取一.介绍官方介绍Camelot是一个 Python 库,可以帮助您从 PDF 中提取表格!需注意的是Camelot 仅适用于基于文本的 P ...
Manning大神牵头，斯坦福开源Python版NLP库Stanza：涵盖66种语言
点击上方"AI遇见机器学习",选择"星标"公众号重磅干货,第一时间送达转自:机器之心对于斯坦福 NLP 库,我们一定不会陌生,但是这一库主要基于 Java ...
【重磅来袭】斯坦福开源Python版NLP库Stanza：涵盖66种语言！
关注上方"深度学习技术前沿",选择"星标公众号", 资源干货,第一时间送达! 对于斯坦福 NLP 库,我们一定不会陌生,但是这一库主要基于 Java.近日,Ch ...
python语言函数库_Python 的标准库，从0到1学Python
1.1. 介绍软件测试业务流程的梳理技巧 - 乐搏软件教育 - 软件测试 - Powered By EduSoho17lebo.com Python 的标准库包括了很多的模块, 从 Python 语 ...
【数据平台】基于pymysql库python连接mysql
1.场景:python连接mysql的API使用pymysql库 https://pypi.python.org/pypi/PyMySQL/ 安装:pip install pymysql 即可 2.代 ...
【数据平台】基于pyhs2库Python作为client driver连接HiveServer
1.安装pyhs2 A Python client driver for HiveServer2 is available at https://github.com/BradRuderman/pyh ...
初识大数据与Python语言——学习笔记
学习视频实验现9/30 记录一下,21年9月28日开始学习大数据
大数据数学基础 python描述_大数据数学基础(Python语言描述)
第 1章绪论 1n 1．1 大数据与数学 1n 1．1．1 大数据的定义 1n 1．1．2 数学在大数据领域的作用 2n 1．2 数学与Python 4n 1．2．1 NumPy 4n 1．2．2 ...
大数据python试卷_大数据起步--Python语言-中国大学mooc-试题题目及答案
中档饭店清扫房间定额一般为().A.1416间/人B.1214间/人C.1012间/人D.810间/人一般情况下,能发生瓦斯爆炸的最低氧气浓度为()A.8%B.12%C.20%D.18% P ...

【数据平台】python语言NLP库Gensim初识

【数据平台】python语言NLP库Gensim初识相关推荐

最新文章

热门文章