01_字符串处理-----05

# NLTK中的nltk.metrics包用于提供各种评估或相似性度量
from __future__ import print_function
from nltk.metrics import *def main1():training = 'PERSON OTHER PERSON OTHER OTHER ORGANIZATION'.split()testing = 'PERSON OTHER OTHER OTHER OTHER OTHER'.split()print(training)print(testing)print("ACCURACY:")print(accuracy(training, testing))print("===" * 25)trainset = set(training)testset = set(testing)print(trainset)print(testset)print("PRECISION:")print(precision(trainset, testset))print("RECALL:")print(recall(trainset, testset))print("F_MEASURE:")print(f_measure(trainset, testset))main1()

# 执行结果
['PERSON', 'OTHER', 'PERSON', 'OTHER', 'OTHER', 'ORGANIZATION']
['PERSON', 'OTHER', 'OTHER', 'OTHER', 'OTHER', 'OTHER']
ACCURACY:
0.6666666666666666
===========================================================================
{'ORGANIZATION', 'PERSON', 'OTHER'}
{'PERSON', 'OTHER'}
PRECISION:
1.0
RECALL:
0.6666666666666666
F_MEASURE:
0.8

1.5.1 使用编辑距离算法执行相似性度量

import nltk
from nltk.metrics import *def main2():# 3步print(edit_distance("relate", "relation"))# 7步print(edit_distance("suggestion", "calculation"))main2()

# 执行结果
3
7

1.5.2 使用Jaccard系数执行相似性度量

# 两个集合 X 和 Y 交集的相似程度
import nltk
from nltk.metrics import *def main3():X1 = {20, 30}Y2 = {20, 30}print("完全相同：")print(jaccard_distance(X1, Y2))X1 = {20, 30}Y2 = {10, 40}print("完全不同")print(jaccard_distance(X1, Y2))X1 = {20, 30}Y2 = {20, 40}print("部分相同")print(jaccard_distance(X1, Y2))main3()

# 执行结果
完全相同：
0.0
完全不同
1.0
部分相同
0.6666666666666666

1.5.3 使用Smith Waterman 距离算法执行相似度计算

# 类似于编辑距离算法
# 在nltk.metrics包中没有找到相关模块

1.5.4 其他字符串相似性度量

# 二进制距离
# 两个标签相同，返回值为0.0， 否则，它的返回值为1.0
import nltk
from nltk.metrics import *def main4():X = {30, 50}Y = {30, 50}print("相同")print(binary_distance(X, Y))X = {10, 20, 30, 40}Y = {30, 50, 70}print("不同")print(binary_distance(X, Y))main4()

# 执行结果
相同
0.0
不同
1.0

# 多个标签,Masi距离基于部分协议
# 有详细算法
import nltk
from nltk.metrics import *def main5():X = {30, 40}Y = {30, 40, 50, 60}print(masi_distance(X, Y))main5()

# 执行结果
0.335

01_字符串处理-----05_相似性度量相关推荐

01_字符串处理------01_切分
1.1.1 将文本切分为语句 def main1():from nltk.tokenize import sent_tokenizeimport nltktext = " Welcome r ...
01_字符串处理-----04_在文本中应用ZIpf定律
# Zipf定律指出,文本中标识符出现的频率与其在排序列表中的排名或位置成反比. # 所以,频率最高的单词出现的频率大约是出现频率第二位的单词的2倍,而出现频率第二位的单词则是出现频率第四位的单词的2 ...
01_字符串处理-----03_替换和校正标识符
1.3.1 使用正则表达式替换单词 # 创建replacers.py文件,被调用 import rereplacement_patterns = [ (r'won\'t', 'will not'), ...
01_字符串处理-----02_标准化
1.2.1 消除标点符号 def main1():text = [" It is a pleasant evening.", "Guests, who came from ...
Theory: String basics（理论：字符串基础）
什么是字符串? 弦是这些词之一,它们会根据上下文改变其含义:它可以指代竖琴的迷人声音或描述宇宙的结构.在计算机编程中,字符串只是一个有序的符号序列.我们从索引0开始,即给定字符串 s,它的第一个元素是 ...
Java开发常见面试题详解（LockSupport，AQS，Spring循环依赖，Redis）
总览问题详解 String.intern()的作用 link LeetCode的Two Sum题 link 什么是可重入锁? link 谈谈LockSupport link 谈谈AQS link ...
2555555555555555555
Java开发常见面试题详解(LockSupport,AQS,Spring循环依赖,Redis) 巨輪 2021-03-28 02:16:11 12834 收藏 315 分类专栏: 面试题文章标签 ...
Java开发常见面试题详解(LockSupport，AQS，Spring循环依赖，Redis)_3
Java开发常见面试题详解(LockSupport,AQS,Spring循环依赖,Redis)_3 总览问题详解 String.intern()的作用 link LeetCode的Two Sum题 ...
文本相似性度量---------字符串近似相等
给定两个字符串如何判断它们的相似程度?常用的有两种方法: 编辑距离(edit distance) 最长公共子序列(LCS,longest common sequence) 解释两个概念: 编辑距离,指 ...

01_字符串处理-----05_相似性度量

1.5.1 使用编辑距离算法执行相似性度量

1.5.2 使用Jaccard系数执行相似性度量

1.5.3 使用Smith Waterman 距离算法执行相似度计算

1.5.4 其他字符串相似性度量

01_字符串处理-----05_相似性度量相关推荐

最新文章

热门文章