Question Difficulty Prediction for READING Problems in Standard Tests

一、基本信息

时间：2017年

会议：AAAI（CCF推荐的A类会议人工智能与模式识别）

作者：黄振亚等（陈恩红团队）

机构：中国科学技术大学

二、论文五要素

1、论文动机

1.1 背景：

在标准测试（如TOFEL、SAT）中，需要不同难度的试题保证考试的公平。而传统的试题难度评估方法是人工标注和考前组织测试，存在各自的缺点。此外，大量的辅助信息（如学生答题记录、习题文本信息）可用于习题难度预测。

（即作者认为习题的难度和习题的文本信息有关系，因此使用习题的文本对习题难度进行预测。大致的逻辑：测试中需要不同的习题难度——>传统的习题难度评估方法存在缺点——>利用现有的答题记录和习题文本可以实现习题难度自动预测）

1.2 目的：

在组织考试前就需要知道试卷中试题的难度，因此需要预测标准测试中英语阅读题的难度（即习题难度预测）

1.3 挑战：

如何建立一个统一的方式来理解和表达文本材料的多个部分（可理解为：为什么用word2vec，为什么使用CNN）

如何区分文本材料对具体问题的重要性（可理解为：为什么选用attention）

如何消除不同测试中的难度偏差（可理解为：为什么要使用test-dependent损失函数）

英语阅读题：包括TD、TQ和TO。TD为阅读文本（document），TQ为题干（question），TO为选项（option）（如下图）

2、传统方法

2.1 评估习题难度的传统方法：

（1）专家对习题难度进行标注

缺点：工作量大、主观性强

（2）组织人员对试题样本进行试测，然后对试题样本进行稍加修改投入使用

缺点：耗时且耗费大量人力物力

共同点：二者皆存在试题泄露风险

2.2 前人研究-习题难度：

（1）影响习题难度可能因素：

①question attributes and examinees' abilities (Beck et al.1997)

②question attributes(如question types习题类型,question structures习题结构，knoledge depth深度）

（2）试图利用考生从测试中得到的反馈（即成绩）来进行习题难度的评估，并形成了一些心理学理论（如经典测试理论CTT，认知诊断CDA）

2.3 前人研究-NLP领域的文本理解：

注意：作者提出的模型中的最关键的步骤就是对习题文本的理解和表征

（1）language modeling(Smith et al.2015)（即更注重从习题的语法和语义方面出发进行建模，如句子的结构，词汇语法）

（2）neural network(Hermann et al.2015) （即使用神经网络将习题转化为语义表征）

3、主要方法

针对英语阅读理解题的难度预测提出了一个新的模型TACNN（Test-aware Attention-based Convolutional Neural Network framework ）

训练阶段：

是一种有监督的方法，ground truth是学生答题的通过率，损失函数用在训练阶段用来调整模型的参数，该文提出了一个test-dependent pairwise loss function损失函数

TACNN的输入：习题的文本信息、习题的难度、测试编号、习题编号（如下图）

测试阶段：

TACNN的输入：习题的文本信息

TACNN的输出：预测得到的习题难度值

模型框架图：（分为四个部分，如下图所示）

①Input Layer：输入层

②Sentence CNN Layer：句子CNN层（模型重点）

作用：从句子语义角度去学习每个习题的所有文本信息。（即将习题中的句子进行表征）

③Attention Layer：注意力层（模型重点）

作用：通过attention机制衡量每个习题中不同文本信息对习题难度的影响

④Prediction Layer：预测层/输出层

4、实验

数据集：

来自科大讯飞收集的数据，具体如下图所示，可以看到数据量很大

对比方法：

CNN：使用attention-ignored机制，损失函数用的test-independent损失函数

ACNN：具有TACNN中的attention机制，损失函数用的test-independent损失函数（用于对比TACNN模型中的tetst-dependent损失函数）

TCNN：使用attention-ignored机制，损失函数用的是test-dependent损失函数（用于对比TACNN模型中的attention机制）

HABCNN：以上三种都是与自己提出的进行对比，这个则是和他人的模型比较（他人的模型作者进行了稍加修改为了适用于习题难度预测问题上）。

实验评价指标：

RMSE（Salakhutdinov and Mnih 2011）：均方根误差，越小越好，评价习题难度预测值和真实值的准确度对比（注意：预测值是模型在训练阶段训练好后，将测试集的习题放入训练好的模型后得到的习题难度值；这里的真实值是指测试集中的习题难度值）

DOA（Liu et al.2012）：一致性（啥玩意？没懂是干嘛的，需要追溯该论文引用的那篇论文），越大越好，从ranking的角度评价？

PCC（Benesty et al.2009）：皮尔逊相关系数，越大越好，评价习题难度真实值和预测值的相关性

PR：t-test通过率（啥玩意？不懂是啥，需要追溯该论文引用的那篇论文），越大越好,评价confidence performance

实验结果：

5、创新点

三、论文总结

这篇文章提出的模型的前提：习题文本信息丰富、大量的数据（包括习题和学生的答题记录）

此外，这篇文章中得到的习题难度是absolute difficulty values，即绝对难度（区别于相对难度，即某个学生对于某道题的难度）

挑战：

如何建立一个统一的方式来理解和表达文本材料的多个部分——>使用word2vec对习题文本信息的单词进行表征，使用sentence CNN表达习题文本信息中的句子（包括阅读的文章、题干、选项）

如何区分文本材料信息中哪部分对具体习题难度的重要性——>使用attention机制对习题文本信息的重要部分进行关注

如何消除不同测试中的难度偏差——>提出了test-independent的损失函数

（后面继续补充）

最后，发现某个网站上的关于这篇论文的PPT写得挺好的，需要的也可以看看，链接https://myslide.cn/slides/17905

习题难度预测（英语阅读题）-Question Difficulty Prediction for READING Problems in Standard Tests相关推荐

个性化习题推荐-Exercise recommendation based on knowledge concept prediction
一.基本信息时间:2020年期刊:Knowledge-Based Systems(SCI1区) 作者:吴正洋等(作者主页链接:http://faculty.scholat.com/homepage ...
计算机技能高考超纲题,习题难度的划分
<习题难度的划分>由会员分享,可在线阅读,更多相关<习题难度的划分(4页珍藏版)>请在人人文库网上搜索. 1.题库类产品如何计算题目的难度值一.引言题库类产品(如猿题库.易题库 ...
【渝粤题库】国家开放大学2021春1354高级英语阅读（2）题目
试卷代号:1354 2 0 2 1年春季学期期末统一考试高级英语阅读(2) 试题 2021年7月注意事项一.将你的学号.姓名及分校(工作站)名称填写在答题纸的规定栏内.考试结束后,把试卷和答题纸 ...
高中英语话题阅读计算机,计算机英语学科题.doc
计算机英语学科题计算机英语学科题窗体顶端 ? 刘老师在讲解"旅游"这一话题时,利用幻灯片向学生展示自己的电子相册,这里幻灯片主要所表现的是媒体的何种特征:A.呈现力B. 传播力C ...
计算机英语阅读路线,高考英语阅读理解真题解析·计算机运用
说明:引用此文请注明出处,并务请保留后面的有效链接地址,谢谢! 高考英语阅读理解真题解析·计算机运用 Computer people talk a lot about the need for oth ...
考研英语阅读关于计算机课堂教学,2016考研英语阅读真题逐句拆分解析（165）...
提升阅读和翻译能力要打好基础,要做到这一点,一定要学会精读,以历年真题为依托,仔细研究每个句子,日积月累,坚持百日,相信会有很大的提升.下面新东方在线带大家来逐句拆分解读历年阅读真题,从成分到词汇及 ...
有关计算机时代的英语阅读理解题,2020-2021高考英语阅读理解综合经典题附详细答案...
一.高中英语阅读理解 1．阅读理解 City trees grow faster and die younger than trees in rural forestry, a new study f ...
【xjtu英语自主学习平台】为什么研究中国建筑阅读题答案
为什么研究中国建筑阅读题答案 (仅供参考,请自行阅读书籍) the structural system the plan arrangement six construction details tw ...
新东方mti百科知识pdf_新东方 2019考研英语阅读理解精读100篇基础版.pdf
作者 :印建坤著出版发行 : 北京:群言出版社 , 2018.02 ISBN号 :978-7-5193-0366-2 页数 : 338 丛书名 : 新东方考研英语培训教材原书定价 : 48.0 ...

习题难度预测（英语阅读题）-Question Difficulty Prediction for READING Problems in Standard Tests