「AI Drive」是由 PaperWeekly 和 biendata 共同发起的学术直播间，旨在帮助更多的青年学者宣传其最新科研成果。我们一直认为，单向地输出知识并不是一个最好的方式，而有效地反馈和交流可能会让知识的传播更加有意义，从而产生更大的价值。

本期 AI Drive，我们邀请到浙江大学计算机学院博士生冯浩哲，为大家在线解读其发表于 ICML 2021 的最新工作：KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation。对本期主题感兴趣的小伙伴，7 月 13 日（周二）晚 7 点，我们准时相约 PaperWeekly B 站直播间。

直播信息

传统的无监督多源域适应方法假设所有源域都可以直接访问。然而，该假设忽略了隐私保护政策，即所有数据和计算都必须在本地进行。在隐私保护要求下进行域迁移存在三个挑战：首先，最小化域间距离需获取源域和目标域的数据并进行成对计算，而源域数据不可获取。其次，通信成本和隐私安全限制了现有域迁移方法的应用，例如域对抗训练。最后，由于无法控制源域数据质量，更易出现不相关或恶意的源域，从而导致负迁移。

为解决上述问题，我们提出一种满足隐私保护要求的去中心化无监督域迁移范式，称为基于知识蒸馏的去中心化域适应（KD3A），通过对不同源域的模型进行知识蒸馏来进行知识迁移。大量实验表明，KD3A 显著优于其他前沿域迁移方法。此外，与其他去中心化的域迁移方法相比，KD3A 对负迁移具有鲁棒性，并可将通信成本降低 100 倍。

论文标题：

KD3A: Unsupervised Multi-Source Decentralized Domain Adaptation via Knowledge Distillation

论文链接：

https://arxiv.org/abs/2011.09757

代码链接：

https://github.com/FengHZ/KD3A

本次分享的具体内容有：

• 背景介绍：现有无监督多源域适应 方法的基本范式

• 研究动机：隐私保护法案简介，法案约束下域迁移方法存在的三个挑战

• 相关工作：联邦对抗域迁移，无源 (Source-free) 域迁移

• 方法实现：基于知识蒸馏的去中心化域适应方法

• 理论分析：算法实现与泛化误差界

• 实验结果：域适应精度，对负迁移的鲁棒性分析，通信成本分析

• 总结：论文总结，开源代码介绍与未来展望

嘉宾介绍

 冯浩哲 / 浙江大学博士生 

冯浩哲， 浙江大学计算机学院 CAD&CG 国家重点实验室三年级博士生，导师陈为教授。主要研究方向为迁移学习，无监督表征学习，以及隐私保护的模型训练。以第一作者身份在 AAAI /ICML /TKDE 上发表多篇论文，个人主页为www.fenghz.xyz/about.

直播地址 & 交流群

本次直播将在 PaperWeekly B 站直播间进行，扫描下方海报二维码或点击阅读原文即可免费观看。线上分享结束后，嘉宾还将在直播交流群内实时 QA，在 PaperWeekly 微信公众号后台回复「AI Drive」，即可获取入群通道。

B 站直播间：

https://live.bilibili.com/14884511

合作伙伴

????

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

关于PaperWeekly

PaperWeekly 是一个推荐、解读、讨论、报道人工智能前沿论文成果的学术平台。如果你研究或从事 AI 领域，欢迎在公众号后台点击「交流群」，小助手将把你带入 PaperWeekly 的交流群里。