bert模型可以做文本主题识别吗_BERT模型可以使用无监督的方法做文本相似度任务吗?...
最近工作也在做这个事,分享下我的实验结论
1.首先一点是在不finetune的情况下,cosine similairty绝对值没有实际意义,bert pretrain计算的cosine similairty都是很大的,如果你直接以cosine similariy>0.5之类的阈值来判断相似不相似那肯定效果很差。如果用做排序,也就是cosine(a,b)>cosine(a,c)->b相较于c和a更相似,是可以用的。总而言之就是你模型评价的标准应该使用auc,而不是accuracy
2.短文本(新闻标题)语义相似度任务用先进的word embedding(英文fasttext/glove,中文tencent embedding)mean pooling后的效果就已经不错;而对于长文本(文章)用simhash这种纯词频统计的完全没语言模型的简单方法也ok
3.bert pretrain模型直接拿来用作 sentence embedding效果甚至不如word embedding,cls的emebdding效果最差(也就是你说的pooled output)。把所有普通token embedding做pooling勉强能用(这个也是开源项目bert-as-service的默认做法),但也不会比word embedding更好。
4.用siamese的方式训练bert,上层通过cosine做判别,能够让bert学习到一种适用于cosine作为最终相似度判别的sentence embedding,效果优于word embedding,但因为缺少sentence pair之间的特征交互,比原始bert sentence pair fine tune还是要差些。参考Siamese bert,https://arxiv.org/abs/1908.10084
bert模型可以做文本主题识别吗_BERT模型可以使用无监督的方法做文本相似度任务吗?...相关推荐
- bert模型可以做文本主题识别吗_BERT如何融合主题模型-ACL2020
首发公众号:[NLP从入门到放弃] 今天分享一个论文ACL2020-tBERT,论文主要融合主题模型和BERT去做语义相似度判定,在特定领域使用这个模型,效果更明显. 掌握以下几点: [CLS]向量拼 ...
- bert模型可以做文本主题识别吗_网民情绪识别TOP3分享----科技战疫·大数据公益挑战赛...
摘要 针对赛题数据,本团队在数据处理部分采用数据去噪的方式保证了数据的整洁性:在模型构建部分使用了开源预训练模型,并通过预训练模型多层表示的动态权重融合方式对预训练模型进行修改,而后下接BILSTM和 ...
- 还在为DST模型刷不动而感到苦恼吗?来试试无监督DST吧,DSI等你来战!
本文介绍一篇西湖大学联合哈尔滨工业大学 SCIR 实验室和北京理工大学发表于 IJCAI 2020 的论文 Dialogue State Induction Using Neural Latent V ...
- bert模型可以做文本主题识别吗_文本匹配方法系列––BERT匹配模型
1.概述 在介绍深层次交互匹配方法之前,本文接着多语义匹配方法[1]介绍基于BERT模型实现文本匹配的方法.将其单独介绍主要因为BERT实现文本匹配操作方便且效果优秀,比较适用于工业应用场景.关于be ...
- 用 Python 和 Gensim 库进行文本主题识别
主题识别是一种在大量文本中识别隐藏主题的方法,它在 Python 的 Gensim 包中有很好的实现.问题的关键是确定如何提取独特.重要的高质量主题.这取决于文本准备质量和确定理想主题数量的方法. 本 ...
- 用 Python 和 Gensim 库进行文本主题识别
作者 | 云朵君 来源 | 数据STUDIO 主题识别是一种在大量文本中识别隐藏主题的方法.潜在狄利克雷分配 (LDA) 技术是一种常见的主题建模算法,在 Python 的 Gensim 包中有很好的 ...
- 【Python】用 Python 和 Gensim 库进行文本主题识别
主题识别是一种在大量文本中识别隐藏主题的方法.潜在狄利克雷分配 (LDA) 技术是一种常见的主题建模算法,在 Python 的 Gensim 包中有很好的实现(推荐阅读
- 无监督领域迁移及文本表示学习的相关进展
©作者|邴立东.何瑞丹.张琰.李俊涛.叶海 单位|阿里巴巴达摩院.新加坡国立大学等 摘要 随着基于 transformer 的预训练语言模型的广泛应用,多种自然语言处理任务在近一两年来都取得了显著突破 ...
- bert模型可以做文本主题识别吗_NLP之文本分类:「Tf-Idf、Word2Vec和BERT」三种模型比较...
字幕组双语原文:NLP之文本分类:「Tf-Idf.Word2Vec和BERT」三种模型比较 英语原文:Text Classification with NLP: Tf-Idf vs Word2Vec ...
- bert模型可以做文本主题识别吗_GitHub - jkszw2014/TextClassify_with_BERT: 使用BERT模型做文本分类;面向工业用途...
TextClassify_with_BERT 使用BERT模型做文本分类:面向工业用途 自己研究了当前开源的使用BERT做文本分类的许多存储库,各有各的缺点.通病就是面向学术,不考虑实际应用. 使用t ...
最新文章
- 来,一起手撸一个简版 Redis(附源码)
- GIT 换行符相关操作
- 神秘又强大的@SpringBootApplication注解
- 神马搜索上线奥运会人气榜单 中国女排包揽前三
- LeetCode Maximum Product Subarray(最大子数组乘积)
- 基于逆向最大化词表中文分词法zz
- linux上还原自主nuget包需要注意的问题
- 从NetBeans运行和调试WildFly Swarm应用程序
- cad 怎么显示块句柄_cad怎么显示工具栏
- 免密登录堡垒机和服务器
- oid 值 内存使用_[技术干货] zabbix监控项原型组合键值
- python求单链表的长度_709. 设计链表(Python)
- CentOS 6.2安装配置pacemaker
- 注册表的保存位置在哪里?注册表文件保存在哪里?
- 关于链表初始化typedef struct LNode{}LNode,*linklist的理解
- android float 百分比,如何在android中计算百分比
- JAVA名字正则表达式(包含新疆姓名)
- 学大数据需要具备什么基础和知识点?
- 仿小米通讯录 右侧滑动条与带动画的悬停列表实现(二)
- 基于OSGi的企业级开发框架实践——序篇
热门文章
- 使用截图工具FastStone Capture
- MagicMongoDBTool 最新代码 以及 开发进度报告
- SQL Server常用的字符串/日期/系统函数
- Pandas 基础(4) - 读/写 Excel 和 CSV 文件
- 轻松掌握namedtuple
- Java千百问_06数据结构(003)_什么是基本类型包装器
- HDU 1016 DFS
- $provide.decorator
- JAX-RS (REST Web Services) 2.0 requires Java 1.7 o
- 对“最大子序列和问题”的一点思考