诸神缄默不语-个人CSDN博文目录

录播视频地址：AIS 2022丨ACL-IJCAI-SIGIR顶级会议论文报告会回放视频公开啦
智源官网活动主页，有详细议程的介绍：ACL-IJCAI-SIGIR顶级会议论文报告会（AIS 2022）

本文关注5月14日的分析与可解释性部分，即Session 2：Analysis and Interpretability（分析和可解释性）。主要内容是截图slides，并附注一些讲解内容。比我之前写cs224w和李宏毅的笔记会简略很多，在图中不言自明的内容我就不另附介绍了。

文章目录

1. 关于中文生物医药数据集的构建工作
2. 从损失函数层面构建抵御对抗攻击的方法
3. 鲁棒彩票网络
4. 如何检测出非自然表达的对抗样本
5. 关于法律案件匹配的可解释性
- 研究动机
- 所提方法
- 实验分析
- 小结
6. 信息检索的鲁棒性提升
7. 多模态情感分类项目
8. Few-Shot text-to-SQL
9. NER的噪音标签修正
- Background
- Our algorithm
- Experimental results
- Conclusions
10. 基于图网络的协同过滤的可解释性

1. 关于中文生物医药数据集的构建工作

阿里云陈漠沙

这个任务感觉其实类似于实体消歧任务

QA环节：
医学benchmark与其他领域的构建区别：医疗语料获取有难度，数据匿名、经过委员会审核，中文医疗领域的特点（domain knowledge、标注方法）

2. 从损失函数层面构建抵御对抗攻击的方法

复旦大学刘勤

文本防御：针对性的防御方法

通用的防御方法（对抗训练方法）：沿着梯度上升的方向，去找那些会对模型造成最大影响的样本
时间消耗很大（K次复循环）

在training loss接近0的时候就不用进一步降低，从而避免过拟合、获得较好的泛化能力

flooding在损失函数逼近阈值时做了一个梯度上升和梯度下降的交替，让参数更加平滑，获得鲁棒性

缺点：对b敏感

捕捉过拟合的时间点

Q：flooding在bert上做的实验，是否对别的也有用？A：在roberta上做过实验，有效。对非预训练模型还没有做过实验。

3. 鲁棒彩票网络

复旦大学郑锐

探究预训练模型本身的结构可能会对鲁棒性带来怎样的影响

对各种攻击都有比较好的效果
以前的模型从优化的角度，本作从模型的角度

现在发现模型压缩后鲁棒性会降低，本工作就是为了逆着这个思路来，找到鲁棒性更高的彩票网络

迭代、复制、剪枝→掩码m
鲁棒性更依赖于模型权重而不是结构

Q：传统彩票网络裁减比例可以做很大，本工作只有40%以内。A：剪枝范围可以做很广，但是为了强调，本文仅选择鲁棒性最好的稀疏度作为主实验结果（可能不是最clean的）。

4. 如何检测出非自然表达的对抗样本

上海交通大学王佳翼

用在文本防御的框架中
transformation set：变换后再分类，用均值作为输出（随机变换+平滑。这种方法在CV领域已经得到了较好的效果）（直觉上感觉这种做法也可以用在grammatical error correaction这类任务中）

Q：有没有方法能产生更自然的对抗样本？A：现在的方式还是比较启发式的方法剔除不自然的指标（语义相似性、语法错误的个数、流畅度、复杂度），还没有能直接生成更自然的对抗样本的方法。

5. 关于法律案件匹配的可解释性

中国人民大学

研究动机

用自然语言的形式来解释
长文档只有部分要件与匹配结果相关
领域知识，标签代价高

所提方法

要件对齐

要件提取过程被建模为正向的最优运输
语义相似度和要件相似度：指导运输
训练阶段：逆向自由运输

实验分析

小结

6. 信息检索的鲁棒性提升

昆士兰大学庄胜尧

人脑可以自动改正拼写

但是对预训练模型来说，这些typo会对篇章检索造成巨大的错误

wordpiece对这种typo本身就很不友好

（这玩意要转换到中文上岂不是得具体到笔画？）

Q：如果typos比例太高，是否会对训练产生负面影响？A：没做实验。一般用户typos本身也比较少。加一个typo就会对原始的篇章检索影响很大，如果typos多的话应该更会。本文的方法，一个typo只会影响一个token的嵌入，原始方法一个typo可能会影响多个token，造成的影响会更大。

7. 多模态情感分类项目

南京理工大学王洁铭
多模态属性及情感分析
输入：图片+推文+实体

当前模型缺点：没有考虑实体和图像之间的关系，大多考虑文本
对没有出现在图片中的实体，我们不希望图片影响其情感分析
对于出现在图中的实体，我们希望将其定位，辅助分析其情感

实体出现在图片中的情况与其情感高度相关

用图像做上下文，和target进行跨模态交互（二分类）

和region交互

Q：多模态会双刃剑，图文可能不匹配，这种情况是否会对模型产生负面影响？A：会有，但也有“讽刺检测”任务。对情感分析任务，希望通过粗粒度对齐排除和图像不相关情感的干扰，有一定抵抗干扰的能力。

8. Few-Shot text-to-SQL

东南大学郭心南

问题与表格一一对应的情况

方法一：对同义词情况支持不好
方法二：方法简单，没有考虑到SQL语句中不同槽位预测和差异性

六个子任务：不同的槽位

置信度：伪标签

column specificity：鼓励模型学习常见列/特征

Q：非规范语言是否会带来严重影响？A：会的，现在方法都会着重于提取实体和关系，可能对用户本身的表达形式要求没那么高。

9. NER的噪音标签修正

华中科技大学潘为燃

Background

规定好路径
通过人工标注的干净数据来训练噪声过滤器

我们的目标：不引入任何外部资源

Our algorithm

栗子：模型学到的模式使它被预测为负，但是节点本身的标签使它强制梯度下降
ambiguous预测结果中包含了噪音样本
直觉的想法：将ambiguous样本作为无标签样本，然后再冲标注
早停时输出的logits

Experimental results

Conclusions

Q：噪音标签比例在多大比较好？A：假设是噪音标签不能太多（结构化、严重非对称），解决这种情况也可以是未来的研究方向

10. 基于图网络的协同过滤的可解释性

网易伏羲赵明浩

数据分布问题：长尾分布，冷门的学不好
模型本身就有bias：偏向热门物品
novelty：推荐物品在训练集中出现次数的反比
PRU：物品排序和次数的相关性

ACL-IJCAI-SIGIR顶级会议论文报告会（AIS 2022）笔记2：分析与可解释性相关推荐

AIS（ACL,IJCAI,SIGIR）(2019)论文报告会，感受大佬的气息...
AlS2019是由中国中文信息学会青工委.杭州钱塘新区管委会.搜狗搜索联合举办的论文报告会. 会议将于2019年5月25日一5月26日,在杭州钱塘新区大创小镇国际创博中心内举办. 会议介绍本次会议把 ...
AIS 2019(ACL IJCAI SIGIR)论文研讨会研究趋势汇总
AIS 2019(ACL IJCAI SIGIR)论文研讨会文章目录 AIS 2019(ACL IJCAI SIGIR)论文研讨会 ACL 进展综述-清华刘知远 ACL2019投稿统计 1. 预训练 ...
机器人导航两篇顶级会议论文解析
机器人导航两篇顶级会议论文解析一．一种用于四旋翼无人机室内自主导航的卷积神经网络特征检测算法标题:A Convolutional Neural Network Feature Detection ...
部分国外顶级会议论文没有关键词
部分国外顶级会议论文没有关键词,我才发现. 举个例子:2016年,CVPR,You Only Look Once:Unified, Real-Time Object Detection,这篇会议论文, ...
预告 | AIS (ACL, IJCAI, SIGIR) 2019 论文报告会日程安排
AlS2019是由中国中文信息学会青工委.杭州钱塘新区管委会.搜狗搜索联合举办的论文报告会. 会议将于2019年5月25日一5月26日,在杭州钱塘新区大创小镇国际创博中心内举办. 本次会议把ACL(国 ...
AIS 2022 | ACL-IJCAI-SIGIR顶级会议论文预讲会，现开启论文征集
‍SIGIR.ACL和IJCAI是信息检索.自然语言处理和人工智能领域最高级别的学术会议,三大会议囊括了全球人工智能领域,尤其是自然语言处理领域和信息检索领域的最新先进成果.今年5月至7月,SIGIR ...
为什么不读顶级会议论文？
看了版上很多贴子,发现很多版友都在问"热门研究方向"."最新方法"等.有同学建议国内某教授的教材.或者CNKI.或者某些SCI期刊.每当看到这种问题,我都有点纳 ...
百度安全再次亮相安全顶级会议NDSS--研究幽灵代码利用片段检测的技术详解
百度安全在系统安全深耕多年,持续发表多项顶级会议论文.近日百度安全又一重磅研究成果收录安全顶级会议NDSS.幽灵(Spectre)作为开启侧信道攻击的热核时代一类漏洞,它以变种多,影响范围广而受到业界 ...
ACL国际计算机语言协会2019,我校夏睿团队获得自然语言处理国际顶级会议ACL2019杰出论文奖...
7月29日至31日,在意大利佛罗伦萨召开的第57届国际计算语言学年会(ACL2019)上,来自我校计算机科学与工程学院青年教授夏睿及其博士研究生丁子祥合著的论文"Emotion-Cause ...

ACL-IJCAI-SIGIR顶级会议论文报告会（AIS 2022）笔记2：分析与可解释性