背景介绍

近年来，人们能够轻松的访问互联网上的教学视频，这成为了一种趋势并彻底改变了以往的获取信息或传递知识的方式[1]-[2]。许多人意识到在他们完成某项任务之前通过观看教学视频是一种更高效的方式，因为他们能通过视频中一系列循序渐进的步骤来学习如何完成特定任务[3]-[4]。为此，我们提出了基于中文医疗教学视频时刻答案定位(TAGV) 的新任务，这项任务的目的是找到与输入问题对应的视频帧跨度。该任务的视频来自YouTube 网站上高质量的中文医学教学频道，其中医学问题对应的视频答案片段时间戳由医学专家标注。本次NLPCC2023 Shared Task5 任务的最终目的是开发一个可以为医疗急救或医学教育提供视频时刻问答功能的系统。

任务综述

本次NLPCC 2023 Shared Task 5任务共包括三个赛道：单个视频中视频问答定位（Temporal Answer Grounding in Singe Video, TAGSV），视频数据库检索（Video Corpus Retrieval, VCR）和视频数据库中时序问答定位（Temporal Answer Grounding in Video Corpus, TAGVC）。

▲ 图1. 单个视频问答定位任务的示意图

➢ 赛道1. 单个视频问答定位 (TAGSV)：如图1所示：给定一个医学或健康相关的问题和一个未修剪的中文医疗教学视频，该赛道旨在视频中找到视频答案所在的时间戳。例如，图中0:54s~1:25s 是给定中文问题“如何利用工具缓解头部前倾的问题”的视频答案时间戳。

▲ 图2. 视频数据库检索任务的示意图

➢ 赛道2. 视频数据库检索 (VCR)：如图2所示：给定一个医学或健康相关的问题和大量未经剪辑的中文医学教学视频，该赛道旨在从给定视频数据库中找到与给定问题最相关的视频。例如，图中第一个视频是与中文问题“如何利用工具缓解头部前倾的问题”最相关的目标检索视频。

▲ 图3. 视频数据库时序问答定位任务的示意图

➢ 赛道3. 视频数据库的时序问答定位(TAGVC)：如图3所示：给定一个医学或健康相关的问题和大量未经剪辑的中文医学教学视频，该赛道旨在从给定视频数据库中与找到与给定问题最匹配的视频答案时间戳。例如，图中0:54s~1:25s 是给定中文问题“如何利用工具缓解头部前倾的问题”下该视频数据库中最匹配的视频答案时间戳。

数据集简介

▲ 图4. CMIVQA比赛的数据集示例

本次比赛的视频是从YouTube网站的中文医学教学频道中爬取的，其中的字幕（中文）是从相应的视频中自动转录出来的。问题和相应的视频答案时间戳是由具有医学背景的专家进行标注而得到的。每个视频可能包含多个问答对，其中每个问题对应一个唯一的答案。数据集分为训练集、验证集和测试集，训练集共包含1,228个视频，包含2,937个视频问答对，供参赛选手进行模型训练。

图4展示了 CMIVQA 竞赛数据集的示例。其中，“id”是用于视频检索赛道的样本编号。“video_id”是指来自 YouTube 的唯一 ID。“问题”项由医学专家手写。“开始和结束秒”代表相应视频答案的时间戳。比赛期间分为A、B榜单进行测试，每周更新榜单数据，最后以B榜的结果作为获奖参评依据。测试集中赛道2与赛道3的真实 “id”数据编号在发布时不对外公开。总而言之，我们的最终目标是从测试语料库中检索目标视频 ID，然后定位视觉答案。更多数据集细节与基准线方法请访问：

比赛官网：

https://cmivqa.github.io/

比赛Github：

https://github.com/cmivqa/NLPCC-2023-Shared-Task-5

评价指标

赛道1

单个视频问答定位任务

我们使用如下所示的度量计算公式来评估结果。具体来说，我们使用 (1) 交并比（Intersection over Union， IoU），和 (2) 平均交并比 mIoU，mIoU数值为所有测试样本的平均 IoU。参考研究工作[3]-[5]后，我们采用“R@n，IoU = μ”和“mIoU”作为评估指标，将视频答案帧的时间戳定位视为跨度预测任务。“R@n, IoU = μ”表示预测时间答案跨度与真实跨度的交并比 (IoU)，其中重叠部分在前 n 个检索时刻中大于“μ”。“mIoU”是样本的平均 IoU。在我们的实验中，我们使用 n = 1 和 μ ∈ {0.3, 0.5, 0.7} 来评估 TAGSV 结果。

其中 和 代表不同的跨度，分别代表 。

注：该赛道的主要排名是基于 分数，我们同时也提供了该赛道的其他指标以供进一步分析。

赛道2

视频数据库检索

继开创性的工作 之后，我们采用了像 “R@n” 这样的视频检索指标。具体来说，我们采用 n=1、10 和 50 来表示视频检索的召回性能。同时，采用平均倒数排序 (MRR) 得分这项指标评价中文医疗教学视频语料库检索性能，计算方法如下。

其中 是视频数据库大小数目。对于每个测试样本 ，排名 表示真实视频标签在预测列表中的位置。

注：该赛道的主要排名是基于Overall分数。Overall分数是将 and MRR scores 进行相加，计算如下。

其中 是相加的个数。Value 是第 个指标的得分（包括 , 和 MRR），。

赛道3

视频数据库时序问答定位

我们保留与赛道1相似的 交并比 (IoU) 指标和与Track 2检索指标“R@n, ”和MRR，用于赛道3结果的进一步分析。我们仍然使用像 , IoU 这样的指标，同时，我们将 、 10、50 进行评估。值得注意的是，视频检索子任务中的平均IoU指标，即“R@1/10/50|mIOU”，也用于衡量参与模型的性能表现。

注：该赛道的主要排名是基于 Average 分数。Average 分数是将 , 进行平均，计算如下。

其中 评价指标个数。Value 第 个指标（例如：, ），。

重要的日期

提交截止日期为晚上 11:59。规定的截止日期 (UTC/GMT+08:00)。

赛程

1

比赛任务公告及参与报名：

2023年3月15日

2

发布任务指南和训练数据：

2023年4月3日

3

测试A数据发布：

2023年4月10日

4

比赛报名截止：

2023年5月28日（同测试B数据结果提交时间）

5

测试B数据发布：

2023年5月21日

6

测试B数据结果提交：

2023年5月28日

7

比赛结果发布并征集系统报告和会议论文：

2023年6月10日

8

会议论文提交截止日期（仅适用于比赛任务）：

2023年6月30日

9

会议论文接受/拒绝通知：

2023年7月18日

10

论文提交截止日期：

2023年8月1日

举办单位信息

主办方：

CCF自然语言处理与中文计算国际会议

承办方：

湖南大学

视觉感知与人工智能湖南省重点实验室

协办方：

赛灵药业科技集团股份有限公司

协办方介绍

赛灵药业科技集团股份有限公司是一家集药品研发、生产、销售为一体，获“高新技术企业”认证的综合性医药企业。公司以“仁爱心，赛灵药”为企业宗旨，专注于构建骨健康生态体系，打造骨健康领域领先品牌，为广大医患提供更具临床价值的新产品和新技术。

赛灵药业积极践行“成为人人信赖的骨健康专家“企业愿景，探索科普教育、基层医疗教育新模式，助力人工智能更好的服务大众，为健康中国贡献赛灵力量！

赛事联系方式

更多赛事信息及报名方式，请关注“中文医疗教学视频问答任务”官方网站。

官网：

https://cmivqa.github.io/

官网Github：

https://github.com/cmivqa/NLPCC-2023-Shared-Task-5

Baseline网址：

https://github.com/WENGSYX/CMIVQA_Baseline

官方微信群：

失效请关注官网Github的群链接

联系人：

参考文献

[1] Li, Bin, et al. “Towards visual-prompt temporal answering grounding in medical instructional video.” arXiv preprint arXiv:2203.06667 (2022).

[2] Weng, Yixuan, and Bin Li. “Visual Answer Localization with Cross-modal Mutual Knowledge Transfer.” arXiv preprint arXiv:2210.14823. (Accepted in ICASSP 2023).

[3] Deepak Gupta, Kush Attal, and Dina Demner-Fushman. “A Dataset for Medical Instructional Video Classification and Question Answering.” arXiv preprint arXiv:2201.12888, 2022.

[4] Deepak Gupta, and Dina Demner-Fushman. “Overview of the MedVidQA 2022 Shared Task on Medical Video Question-Answering. ” BioNLP 2022@ ACL 2022 (2022): 264.

[5] Zhang, Hao, et al. “Natural language video localization: A revisit in span-based question answering framework.” IEEE transactions on pattern analysis and machine intelligence 44.8 (2021): 4252-4266.

[6] Li, Bin, et al. "Learning to Locate Visual Answer in Video Corpus Using Question." arXiv preprint arXiv:2210.05423. (Accepted in ICASSP 2023).

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

NLPCC 2023 Shared Task 5：中文医疗教学视频问答任务相关推荐

  1. 论文阅读：Overview of the NLPCC 2018 Shared Task: Grammatical Error Correction

    论文阅读:Overview of the NLPCC 2018 Shared Task: Grammatical Error Correction 1. 引言 2. 任务定义 3. 数据 3.1 训练 ...

  2. 免费教材丨第48期：业界大牛中文教学视频《深度学习：进阶》第25-28讲

    小编说 我们将继续发放彭老师的<深度学习:进阶>课程,本期发放第25-28讲,本教材由麦子学院提供,现表示感谢.本教学视频为中文教学,代码讲解为主,通俗易懂哦! 彭亮简介 美国犹他州立大学 ...

  3. 免费教材丨第47期：业界大牛中文教学视频《深度学习：进阶》第21-24讲

    小编说 我们将继续发放彭老师的<深度学习:进阶>课程,本期发放第21-24讲,本教材由麦子学院提供,现表示感谢.本教学视频为中文教学,代码讲解为主,通俗易懂哦! 彭亮简介 美国犹他州立大学 ...

  4. 助力健康中国，国内首个中文医疗信息处理挑战榜正式发布

    允中 发自 凹非寺 量子位 编辑 | 公众号 QbitAI 近日,由中国中文信息学会医疗健康与生物信息处理专业委员会发起的中文医疗健康信息处理挑战榜-CBLUE(Chinese Biomedical ...

  5. bert中文预训练模型_[中文医疗预训练模型] MC-BERT

    Conceptualized Representation Learning for Chinese Biomedical Text Mining 作者:Ningyu Zhang, Qianghuai ...

  6. 百度ERNIE新突破，登顶中文医疗信息处理权威榜单CBLUE冠军

    医疗领域存在大量的专业知识和医学术语,人类经过长时间的学习才能成为一名优秀的医生.那机器如何才能"读懂"医疗文献呢?尤其是面对电子病历.生物医疗文献中存在的大量非结构化.非标准化文 ...

  7. CRFsuite 学习： CoNLL 2000 shared task

    从 http://www.cnts.ua.ac.be/conll2000/chunking/下载了CoNLL 2000 shared task的训练和测试语料. 从http://www.chokkan ...

  8. jis计算机基础知识讲课,计算机基础知识——中文输入法教学教案.ppt

    计算机基础知识--中文输入法教学教案 中文输入法 课前导读 基础知识 重点知识 了解知识 基础知识 中文输入法的选择.中英文输入法的快速切换以及安装与删除输入法.通过对这些基础知识的学习,读者可了解并 ...

  9. Android Jetpack: ViewModel | 中文教学视频

    Android Jetpack 是一系列助力您更容易打造卓越 Android 应用的工具和组件.这些组件能帮助您遵循最佳实践.免除编写繁复的样板代码并简化复杂任务,从而使您可以专注于最核心的代码逻辑. ...

最新文章

  1. SAP MM 物料主数据利润中心字段之修改
  2. 海军工程大学学生电子课程-DIY Final预验收
  3. Python IDE：PyCharm中的那些实用功能
  4. 4g模块注册上网 移远_通信模组企业 移远通信amp;广和通
  5. quill变html转化,将Quill Delta转换为HTML
  6. Bossie Awards 2015: The best open source applicati
  7. Python matplotlib绘制直方图
  8. MAC地址生成器（可带跳数）
  9. PMP考试要多少费用
  10. PC微信逆向：破解聊天记录文件！
  11. 孔子做人精要，看完启发很多
  12. python输出26个大写字母怎么读_26个大写字母怎么读？
  13. DRM:Digital Rights Management数字版权加密保护技术
  14. Spring -＞ Spring中Bean是线程安全的吗
  15. java算出两个时间差（LocalDateTime）
  16. 在HTML中显示base64格式的img图片
  17. SQL 创建、更新、删除表、重命表名
  18. Numpy中数据的常用的保存与读取方法
  19. The Forty-first Of Word-Day
  20. 李云大连理工计算机系2015级,大连理工大学考研研究生导师简介-李秀英

热门文章

  1. jquery控制元素的隐藏和显示
  2. android 贝塞尔曲线，即3点画弧线
  3. Linux课程设计石头剪刀布,课程设计-石头剪刀布程序.doc
  4. java静态代码块、构造代码块、构造器执行顺序
  5. 无埋点实现监测的真相——革新还是噱头？-Sidney Song
  6. 《前端》慕课--分页导航（带页码的分页导航）
  7. 2022深圳国际电子化学与新材料展览会
  8. AR+教育：ALVA SYSTEMS把图书馆做成了4D百科全书
  9. vue16 自定义键盘属性
  10. Java实现第九届蓝桥杯快速排序