Synonyms——中文近义词工具【含源码解析与改进】

目标：

1. 使用Synonyms包解决NLP问题，落实到业务中；
2. 解析Synonyms源码，厘清原理
3. 结合个人理解，提出改进方案

背景：Synonyms 是一个中文近义词工具包，它可用于如文本对齐、推荐算法、相似度计算、语义偏移、关键字提取、概念提取、自动摘要、搜索引擎等很多自然语言理解(NLP)任务。

Synonyms的码云地址：https://gitee.com/mirrors/Synonyms?_from=gitee_search（含具体用法）
Synonyms的Github地址：https://github.com/huyingxi/Synonyms

一、Synonyms的使用

1. 安装

pip install -U synonyms

2. 测试

说明：其他用法，见官网。

二、Synonyms原理与源码解析

1. Synonyms原理

A. 利用word2vec训练wikidata-corpus，得到一个词向量；训练方法原作者是提供了的，具体过程见https://github.com/chatopera/wikidata-corpus；

PS：如果觉得百科语料满足不了你的需求，可以自己准备个规模更大的语料集，进行训练，比如腾讯词向量。说到这里很多朋友或许知道，AINLP公众号里面不是也有一个同义词功能吗？那个的原理什么？这个留个坑位，下篇博客介绍。

B. 利用改写的gensim.models.KeyedVectors.load_word2vec_format函数，当然有些其他的文件。作者改后的文件如下：

C. 将词向量建成KD-Tree【API文档】，用于最近邻相似检索【同义词核心点】，代码其实就2～3行。此处先占个坑位，提供一篇个人博客，专门总结相似度检索的业内做法。
D. 输入关键词keyword，转为词向量后，从KD-Tree中快速找到Top K的相似关键词索引与相似值【该值是建树时的一种距离计算方式】，最后再查表找到最终的相似关键词。如果想计算余弦相似度，逐一转为词向量计算一次就行。

2、源码解析

这部分主要目的：建立在跑通源码的基础上，谈下这个方法的亮点以及不足。

参考博客：

Synonyms，一个开源的中文近义词工具包

Synonyms——中文近义词工具【含源码解析与改进】相关推荐

python中文近义词工具_Windows10下python3.5对维基百科语料用word2vec进行训练寻找同义词相似度...
首先把需要下载的东西都列出来 1. 语料:下载地址是https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-articles.xml ...
安装使用中文近义词工具包：Synonyms
Synonyms: 中文近义词工具包前言安装使用 synonyms#nearby(word [, size = 10]) synonyms#compare(sen1, sen2 [, seg=T ...
Synonyms：一个开源的中文近义词工具包
作者:Synonyms 项目的作者胡小夕是北京邮电大学研究生,目前实习于今日头条 AI LAB.从事自然语言处理方向研究,在智能客服,知识图谱等领域都有相关研究开发经验. 工具包技术说明:该中文近义词 ...
Synonyms最好的中文近义词工具包
1.中文分词 import synonyms synonyms.seg("中文近义词工具包") 分词结果,由两个list组成的元组,分别是单词和对应的词性. (['中文', '近义 ...
[c#]一键设置popo猫回收站工具含源码
功能介绍: [c#]一键设置popo猫回收站工具含源码在抖音上看到挺好玩的,设置popo猫回收站图标,回收站内没有文件时嘴巴是张开的,当回收站内放置文件时嘴巴是闭合的. 其实功能实现很简单,准备两个 ...
免Root 实现App加载Xposed插件的工具Xpatch源码解析（一）
前言 Xpatch是一款免Root实现App加载Xposed插件的工具,可以非常方便地实现App的逆向破解(再也不用改smali代码了),源码也已经上传到Github上,欢迎各位Fork and St ...
Android EventBus使用（不含源码解析）
官方文档:https://github.com/greenrobot/EventBus simplifies the communication between components decouple ...
微信小程序实现PDF预览功能——pdf.js(含源码解析）
文章目录前言一.pdf.js 是什么? 二.使用步骤 1.下载库文件 2.使用方式微信小程序端--使用 web-view 标签 H5 端--使用 iframe 标签(使用vue框架) 3.更改源 ...
中文分词算法工具hanlp源码解析
词图词图指的是句子中所有词可能构成的图.如果一个词A的下一个词可能是B的话,那么A和B之间具有一条路径E(A,B).一个词可能有多个后续,同时也可能有多个前驱,它们构成的图我称作词图. 需要稀疏2维 ...
自制小工具含源码——SPTC上海交通卡余额查询
说明需求开发其他

Synonyms——中文近义词工具【含源码解析与改进】

Synonyms——中文近义词工具【含源码解析与改进】

一、Synonyms的使用

Synonyms——中文近义词工具【含源码解析与改进】相关推荐

最新文章

热门文章