KeyBERT和labse提取字符串中的关键词

KeyBERT是一种最小且易于使用的关键字提取技术，它利用BERT嵌入来创建与文档最相似的关键字和关键短语。

from keybert import KeyBERT
en_sentence = '' #这是你输入的字符串
kw_model = KeyBERT()
keywords = kw_model.extract_keywords(en_sentence)
print(kw_model.extract_keywords(en_sentence, keyphrase_ngram_range=(1, 5), stop_words=None))

tm2tb 是一个专注于双语数据的术语提取模块。

它使用 spaCy 的词性标签和句子转换器模型从成对的句子和双语文档中提取和匹配术语。

方法:为了从句子中提取术语，tm2tb 首先使用词性标签作为分隔符选择候选者。然后，使用模型语言来嵌入候选和句子。最后，嵌入用于使用余弦相似度和最大边际相关性找到与句子更相似的术语。

对于成对的句子，对每个句子执行上述过程。然后，使用余弦相似度比较生成的词嵌入，该余弦相似度返回每个源词最相似的目标词。对于双语文档，使用上述过程从每对句子中提取术语。最后，计算相似度平均值以产生最终的术语选择。

labse是谷歌提出的用于生成语言无关的句子表示的BERT模型，该工作可以为跨语言的、相同含义的句子形成相似的句子表达，可以用于多种涉及跨语言匹配的下游任务，比如机器翻译的双语语料挖掘、跨语言句对检索等。

参考代码：

GitHub - luismond/tm2tb: Bilingual term extraction and matching with spaCy and sentence transformers.

KeyBERT和labse提取字符串中的关键词相关推荐

python 正则之提取字符串中的汉字,数字,字母
python 正则之提取字符串中的汉字,数字,字母 #\d 匹配一个数字字符.等价于 [0-9] #\D 匹配一个非数字字符.等价于 [^0-9]#过滤字符串中的英文与符号,保留汉字 import r ...
【Java】不需要正则表达式，提取字符串中的所有汉字、数字、字母
功能提取字符串中的所有汉字.数字.字母测试用例待提取的字符串:Th<><?isI":sa--S??/t+-/ring,这? ???~!===是!$#@%^&一 ...
linux 取出字符中数字,使用awk提取字符串中的数字或字母
1.提取字符串中的数字$ echo 'dsFUs34tg*fs5a%8ar%$#@' |awk -F "" ' { for(i=1;i<=NF;i++) { if ($i ~ ...
正则表达式 - 去掉乱码字符/提取字符串中的中文字符/提取字符串中的大小写字母 - Python代码
目录 1.乱码符号种类较少,用replace() 2.乱码字符种类较多,用re.sub() 3.提取字符串中的中文字符 4.提取字符串中的中文字符和数字 5.提取其他数据清洗的时候一大烦恼就是数据中 ...
c语言十六进制字符串转整数,C语言-提取字符串中的十六进制数字并转换为一个十进制整数输出...
问题描述:提取字符串中的十六进制数字并转换为一个十进制整数输出源代码: /*十六进制转换成十进制*/ #include int main(void) { int i,k; char hexad[80 ...
[转载] java提取字符串中的字母数字
参考链接: 使用Regex检查字符串在Java中是否仅包含字母 String str = "adsf adS DFASFSADF阿德斯防守对方asdfsadf37<?:?@%#￥ ...
awk 内嵌正则提取字符串_使用awk提取字符串中的数字或字母
1.提取字符串中的数字 $ echo 'dsFUs34tg*fs5a%8ar%$#@' |awk -F "" ' { for(i=1;i<=NF;i++) { if ($i ...
C语言提取字符串中的所有整数
//提取字符串中的整数 #include<stdio.h> //调用库函数实现 #include<stdlib.h>void string_extract_int(char * ...
php 正则尖括号,php使用正则表达式提取字符串中尖括号、小括号、中括号、大括号中的字符...
PHP使用正则表达式提取字符串中尖括号<>.小括号().中括号[].大括号{}中的字符示例,需要的朋友可以参考下代码如下: $str="你好(爱)[北京]{天安门}" ...

KeyBERT和labse提取字符串中的关键词

KeyBERT和labse提取字符串中的关键词相关推荐

最新文章

热门文章