【NLP】常见衡量指标(metrics)

1 ROC相关：P，R，F

P/R/F1计算，python API：
classification_report
混淆矩阵：
multilabel_confusion_matrix
confusion_matrix
场景：
分类任务：P/R/F1
推荐任务：ROC/acc

除此之外，还有

宏平均（MACRO）其实是把高频和低频类别同等对待了，
加权平均（WEIGHT）是根据频次来给每个类别分配权重的
微平均（MICRO）是不区分样本类别，计算整体的 精准、召回和F1

2 相关系数：皮尔逊系数

https://blog.csdn.net/u010212101/article/details/82873022

3 字准-字错误率

https://github.com/zszyellow/WER-in-python
错的越多，效果越差

4 困惑度

任务：

语言模型：困惑度越大，效果越差

5 MOS打分

6 盲测：人工标注结果 vs 算法计算结果

【NLP】常见衡量指标(metrics)相关推荐

推荐系统[一]：超详细知识介绍，一份完整的入门指南，解答推荐系统相关算法流程、衡量指标和应用，以及如何使用jieba分词库进行相似推荐，业界广告推荐技术最新进展
搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排精排重排混排).系统架构.常见问题.算法项目实战总结.技术细节以及项目实战(含码源) 专栏详细介绍:搜索推荐系统专栏简介:搜索推荐全流程讲解(召回粗排 ...
评测指标(metrics)
评测指标(metrics) metric主要用来评测机器学习模型的好坏程度,不同的任务应该选择不同的评价指标, 分类,回归和排序问题应该选择不同的评价函数. 不同的问题应该不同对待,即使都是分类问题 ...
【java 性能优化实战】1 理论分析：性能优化，有哪些衡量指标、性能优化的技术手段
指标是我们衡量很多事物,以及做出行为决策的重要参考.例如在生活中,当你打算买汽车时,会关注很多指标,比如动力性.燃油经济性.制动性.操纵稳定性.平顺性.通过性.排放与噪声等,而这些指标也都有相关的测试 ...
机器学习中回归问题的性能衡量指标
回归问题的典型性能指标是均方根误差(RMSE),它测量的是预测过程中,预测错误的标准偏差(标准偏差是方差的算术平方根,而方差是离均平方差的平均数). 例如,RMSE等于50000就意味着,系统的预测值 ...
怎么提升效率？衡量指标又是是什么？
怎么提升效率?衡量指标又是是什么? 衡量指标主要分为五点: 性能指标.响应时间.并发量.秒开率.正确性性能指标这个主要指的是服务器的吞吐量,而吞吐量指的是http访问的次数,sql执行的数量及每秒 ...
【机器学习】线性回归，多元线性回归、自回归及衡量指标
经典线性模型自变量的线性预测就是因变量的估计值. 广义线性模型:自变量的线性预测的函数是因变量的估计值. 常见的广义线性模型有:probit模型.poisson模型.对数线性模型等.对数线性模型里有: ...
KGC的衡量指标（MR、MRR、Hits@n）
KGE,知识图谱嵌入(Knowledge Graph Embedding),衡量kge模型性能主要有以下几个常见的指标,有MR.MRR和Hits@n MR(Mean Rank):是平均排名 MRR(M ...
机器学习算法衡量指标——准确率、精确率（查准率）、召回率（查全率）
机器学习算法衡量指标在分类问题中,将机器学习模型的预测与实际情况进行比对后,结果可以分为四种:TP.TN.FN.FP.每个的第一个字母:T/F,代表预测结果是否符合事实,模型猜得对不对,True o ...
大牛总结·常见RF指标的内在和意义
这篇文章的初衷是源自我给工厂工程师写的一份"操作指南",按理说写这些东西对于工作了十来年的人来说应该是手到擒来的,但是真正写的时候就发现原本计划提纲挈领的东西写成了冗长无比的八股文 ...
在商业环境中的 UX 体验衡量指标
本文适合(1)进入工作领域 1–3 年的 UX Designer/Product Designer(2)希望为自己的工作产出订定价值衡量的 Anybody 好的衡量指标带你上天堂,不好的衡量指标带你睡 ...

【NLP】常见衡量指标(metrics)

1 ROC相关：P，R，F

2 相关系数：皮尔逊系数

3 字准-字错误率

4 困惑度

任务：

5 MOS打分

6 盲测：人工标注结果 vs 算法计算结果

【NLP】常见衡量指标(metrics)相关推荐

最新文章

热门文章

【NLP】常见衡量指标(metrics)

1 ROC相关：P，R，F

2 相关系数：皮尔逊系数

3 字准-字错误率

4 困惑度

任务：

5 MOS打分

6 盲测： 人工标注结果 vs 算法计算结果

【NLP】常见衡量指标(metrics)相关推荐

最新文章

热门文章

6 盲测：人工标注结果 vs 算法计算结果