相似度系列-5：语义方法:BERTSCORE: EVALUATING TEXT GENERATION WITH BERT
BERTSCORE: EVALUATING TEXT GENERATION WITH BERT
开头
我觉得这个方法也没有考虑到语序这个因素。在计算时，拆分的会不会有点太散了。token-to-token的相似度加权得到最终相似度。整个chunk的相似度似乎并没有得到很好的利用。word的本身语义信息在利用时，会不会在变换为token后改变了？
本文核心：计算reference和candidate中每个token之间的语义相似度（cosine similarity），选择对应的最大的相似度分值，加权得到最终的相似度值。
related works
看前人做的一些改建。
比如：n_gram_words更改为n_gram_characters
比如：n_gram_words更改为weightd n_gram-words
- n-grams方法
- 编辑距离的方法
- 基于嵌入的方法
- learned metrics (直接以人类的judgements作为评估矩阵，训练模型，使得评测矩阵接近于人类评测水平）
method
- Use different model to tokenizer the sentences
- cosine similarity to compute the reference token and the candidate token.
- compute the sum of the token similarity scores
- use idf as the weight to compute the final score.
- rescall the score (b is the lower bound—— compute b by averaging BERTSCORE
computed on these sentence pairs.）
根据WMT18的标准做法，使用绝对皮尔逊相关度|ρ|和肯德尔等级相关度τ来评估指标质量
相似度系列-5：语义方法:BERTSCORE: EVALUATING TEXT GENERATION WITH BERT相关推荐
- 相似度论文系列-1：入门方法Towards a Unified Multi-Dimensional Evaluator for Text Generation
Towards a Unified Multi-Dimensional Evaluator for Text Generation 作者刘鹏飞,这篇文章是围绕相似度问题提出了一种统一的评测方法.区别与 ...
- 视觉SLAM从传统到语义方法的概述
文章:An Overview on Visual SLAM: From Tradition to Semantic 作者:Weifeng Chen,Guangtao Shang,Aihong Ji,C ...
- 华为如何走出数据沼泽丨中国数度系列报道之一
华为如何走出数据沼泽丨中国数度系列报道之一 2021-03-03 16:04 经济观察网记者 陈白/文20年前,当人类历史上最大的探天工程斯隆数字天空勘测开始的时候,它在新墨西哥的天文望远镜最初几周采 ...
- ML之相似度计算：图像数据、字符串数据等计算相似度常用的十种方法简介、代码实现
ML之相似度计算:图像数据.字符串数据等计算相似度常用的十种方法简介.代码实现 目录 相似度 1.余弦相似性-夹角余弦(Cosine_Distance)距离 2.代码实现-余弦距离.余弦相似度 2.皮 ...
- python sklearn.neural_network.MLPClassifier() 神经网络改变模型复杂度的四种方法
MLPClassifier() 改变模型复杂度的四种方法 调整神经网络每一个隐藏层上的节点数 调节神经网络隐藏层的层数 调节activation的方式 通过调整alpha值来改变模型正则化的程度(增大 ...
- 在keil uVision 2/uVision 3下使用伟福系列仿真器的方法：
★ 在keil uVision 2/uVision 3下使用伟福系列仿真器的方法: 1. 将 E6000.DLL 解压到 X:\KEIL\BIN\目录下,其中 X 为keil的安装驱动器: 2. 用文 ...
- 在keil 4中添加stc系列芯片的方法--【sky原创】
在keil 4中添加stc系列芯片的方法: 1.从官网下载uv3.cdb的文件 网址是:http://www.stcmcu.com/ 2.下载好后把uv3.cdb文件改成STC.cdb: 3. 然后 ...
- ML：图像数据、字符串数据等计算相似度常用的十种方法(余弦相似性、皮尔逊、闵可夫斯基距离/曼哈顿距离/欧氏距离/切比雪夫距离、马氏距离、汉明距离、编辑距离、杰卡德相似系数、相对熵/KL散度、Helli
ML:图像数据.字符串数据等计算相似度常用的十种方法(余弦相似性.皮尔逊.闵可夫斯基距离/曼哈顿距离/欧氏距离/切比雪夫距离.马氏距离.汉明距离.编辑距离.杰卡德相似系数.相对熵/KL散度.Helli ...
- Java之List系列--去重的方法
原文网址:Java之List系列--去重的方法_IT利刃出鞘的博客-CSDN博客 简介 本文用示例介绍Java的List(ArrayList.LinkedList等)的去重的方法. List去重的方法 ...
- 查看笔记本电池健康度的两种方法和电池报告解析
查看笔记本电池健康度的两种方法和电池报告解析 概述 1. 通过CMD命令查看笔记本电脑电池的健康度 1.1 "WIn+R",输入 CMD 1.2 在 CMD 中输入以下命令 ==* ...
最新文章
- php_mongo.dll下载（php操作mongoDB需要）
- 虚拟光驱xp版32位_001只有200M的WIN732位的系统复活你的老爷机
- ZOJ POJ题目分类
- StringUtils工具类说明
- C++知识点 多态、静态多态、动态多态
- 【Flink】部分task每秒处理速度为0
- ES6学习（十一）—Class 的基本语法和继承
- C# 获取Get请求返回
- DIY RazorEngine 的程序集生成方式
- Eclipse 插件使用
- 学生签到系统c代码_手把手教你做一个Java web学生信息、选课、签到考勤、成绩管理系统附带完整源码及视频开发教程...
- java suprious wakeup_Java生产消费问题与虚假唤醒（spurious wakeup）
- 【Android开发-4】进入实践，最喜欢折腾的计算器
- 数字IC后端实现40天速成篇(中)
- 2021双十一自动浏览脚本，京东淘宝自动化脚本末班车
- 苹果电脑ntfs如何打开硬盘？mac能读取的硬盘格式
- 成绩统计（编写一个使用EL的jsp程序）
- 问题:tomcat启动后，可以访问主页面，但是无法访问dubbo-admin
- 手机微信可以批量删除好友了！（文末送书）
- onedrive的使用