介绍

LQA 为法律案件提供解释、建议、解决方法，一方面为非专业人士提供法律援助、法律咨询，另一方面帮助专业人士提高工作效率，更准确地分析真实案件。

LQA的问题可以分为两大类：

KD-question：knowledge-driven，知识驱动，注重理解法律概念
CA-question：case-analysis，案件驱动，注重分析更多的实际案例
包含26,365个选择题，每个问题4个选项，有单选也有多选
提供了一个数据库，包含所有需要的法律知识/法条
JEC-QA给每个问题提供了额外的标签，如问题类型（KD/CA问题）以及问题需要的reasoning，由专业人士标注的数据，有利于LQA的深度分析

JEC-QA需要单词匹配、概念理解、数学分析、多篇长阅读和多跳推理。
e.g.

数据集

【样本量】

【数据库】

司法考试的参考书包含15个主题，215章

【推理类型】

单词匹配
最简单的一种推理，和传统QA类似
概念理解
法律领域，模型需要去理解法律概念
数学分析
需要进行一些简单的运算，来回答问题
多篇章阅读
需要阅读多个段落，整合足够多的证据
多跳推理
需要多步完成逻辑推理，得到回答

实验

检索策略

总共有15个主题，用三个现有的模型去进新主题分类

BERT
TextCNN
DPCNN

选择用BERT找到TOP2的topic。基于检索到的材料，46%的问题可以回答正确，KD问题显著高于CA问题

输入三元组 (q,o,r)(q,o,r)(q,o,r), 表示问题，选项和检索到的阅读理解的篇章

q 是词序列
o 是一个 n=4n=4n=4 的词序列，表示为 ((o1,1,o1,2,…,o1,∣o1∣),…,(on,1,…,on,∣on∣))\left(\left(o_{1,1}, o_{1,2}, \ldots, o_{1,\left|o_1\right|}\right), \ldots,\left(o_{n, 1}, \ldots, o_{n,\left|o_n\right|}\right)\right)((o1,1,o1,2,…,o1,∣o1∣),…,(on,1,…,on,∣on∣))
假设每个选项，有m=18m=18m=18个阅读篇章，ri,jr_{i,j}ri,j 表示第 iii 个选项的第 jjj 个阅读篇章，即ri,j=(ri,j,1,ri,j,2,…,ri,j,∣ri,j∣)r_{i,j}=\left(r_{i, j, 1}, r_{i, j, 2}, \ldots, r_{i, j,\left|r_{i, j}\right|}\right)ri,j=(ri,j,1,ri,j,2,…,ri,j,∣ri,j∣)，其中 i∈[1,n]i\in[1,n]i∈[1,n]，j∈[1,m]j\in[1,m]j∈[1,m]
对于输出，有两个不同的任务，即回答单项选择，回答多项选择题
- 对于单项选择题，需要进行单标签分类，给每个问题输出一个评分向量scoresingle∈Rnscore^{single}\in \mathbb{R}^nscoresingle∈Rn，表示每个选项是正确的概率
- 对于多项选择题，需要输出评分向量 scoreallscore^{all}scoreall，每个问题的长度为 2n−12^n-12n−1

对一些不适用的模型进行了改动：

假设原模型只能输入问题和篇章，没有选项，就将问题和每个选项拼接，获得每个选项的分数 sis_isi，然后 scoresingle=[s1,s2,…,sn]\text{score}^{single} =\left[s_1, s_2, \ldots, s_n\right]scoresingle=[s1,s2,…,sn]
如果原模型只能从阅读理解片段中抽出答案，就把输出层修改成线性层，输出打分 sis_isi
如果原模型不能用于多篇章阅读理解任务，就单独在每个选项的每个篇章上应用该模型，模型输出隐藏层 hi,j∈Rdh_{i, j} \in \mathbb{R}^dhi,j∈Rd 表示第 iii 个选项的第 jjj 层，然后在同一个选项的所有表示上用 max-pooling，来得到第 iii 个选项的隐藏层表示 hi′=[hi,1′,hi,2′,…,hi,d′]h_i^{\prime}=\left[h_{i, 1}^{\prime}, h_{i, 2}^{\prime}, \ldots, h_{i, d}^{\prime}\right]hi′=[hi,1′,hi,2′,…,hi,d′]，其中 max⁡(hi,k,j∣∀1≤k≤m)\max \left(h_{i, k, j} \mid \forall 1 \leq k \leq m\right)max(hi,k,j∣∀1≤k≤m)，然后将 hi′h_i^{\prime}hi′ 通过线性层得到第 iii 个选项的分数 sis_isi
将 scoresingle\text{score}^{single}scoresingle 输入到线性层中，去获得回答所有问题的 scoreallscore^{all}scoreall

随机选择 20% 作为测试集

baseline

co-matching：a single-paragraph reading comprehension model for single-answer questions
BERT：a single-paragraph reading comprehension model，用在中文文档上训练的bert
SeaReader：医学领域问答，用三种注意力方式，question-centric attention, document-centric attention, cross-document attention，再用一个门层去去噪
Multi-Matching：用 Evidence-Answer matching 和 Question-Passage-Answer matching模块来生成匹配信息，拼合起来得到候选项的分数
Convolutional Spatial Attention (CSA) :先用注意力机制得到文章、候选答案、问题的标识，再用CNN-MaxPooling去总结邻接注意力信息
Confidence-based Model (CBM) ：multi-paragraph reading comprehension，pipeline 用于 single-paragraph 阅读理解，应用 confidence-based method 将模型用于 multi-paragraph 上
Distantly Supervised Question Answering (DSQA) ：用于 open QA，将QA分解，首先过滤掉噪声文档，然后抽取正确信息，选出最好的选项

实验结果

JEC-QA：A Legal-Domain Question Answering Dataset 论文阅读相关推荐

PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text 论文笔记
PullNet: Open Domain Question Answering with Iterative Retrieval on Knowledge Bases and Text 2019年,E ...
《Deep Modular Co-Attention Networks for Visual Question Answering》论文翻译
论文地址:https://doi.org/10.48550/arXiv.1906.10770 代码地址:GitHub - MILVLG/mcan-vqa: Deep Modular Co-Attent ...
EMNLP2020 | 近期必读Question Answering精选论文
AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权.平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱,提供学者评价.专家发现.智能指派.学术地图等科技情报专业化服务.系统2 ...
《Stacked Attention Networks for Image Question Answering》论文解读与实验
这是去年10月份,自己看的第一篇关于VQA的论文,由于课程内容需要,对论文内容理解得还算深入,并在github上找了一些代码来实验.下面直接开始~ 1. 实验目的完成一项视觉问答(VQA)的任务,即 ...
视觉问答（Visual Question Answering）论文初步整理
刚找的综述性文章:这两篇我没怎么看不知道怎么样 Visual Question Answering: Datasets,Algorithms, and Future Challenges Visual ...
论文阅读Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
利用段落检索和生成模型进行开放域问答 ACL 2021 论文地址摘要: 开放域问答的生成模型已被证明具有竞争力,无需借助外部知识.虽然这种方法很有前途,但它需要使用具有数十亿个参数的模型,这些参数的 ...
ECCV 2020《TRRNet: Tiered Relation Reasoning for Compositional Visual Question Answering》论文笔记
目录简介动机贡献方法实验简介本文一作是南洋理工大学的Xiaofeng Yang. 文章链接动机现有的VQA方法可以分为两类,第一类侧重于对视觉和语言的跨模态联合建模,但是由于缺乏关系 ...
AAAI 2021 《Regularizing Attention Networks for Anomaly Detection in Visual Question Answering》论文笔记
目录简介动机方法实验简介本文是POSTECH和Kakao合作的一篇文章. 论文链接动机异常检测有助于提升模型的稳定性和可靠性,也就是鲁棒性,OOD问题也可以视为一种异常.但是,单模态的 ...
2019 年，智能问答（Question Answering）的主要研究方向有哪些？
前言自从小夕前不久推送了这篇<文本匹配打卡点总结>,收到了不少小伙伴对于问答方向的问题,其中问的最多的就是,求!更!多!论!文!好了,于是小夕就在万能的知乎上找到了这篇良心回答,分享给有 ...

JEC-QA：A Legal-Domain Question Answering Dataset 论文阅读

文章目录

介绍

相关工作

Open QA

数据集

实验

检索策略

baseline

实验结果

JEC-QA：A Legal-Domain Question Answering Dataset 论文阅读相关推荐

最新文章

热门文章