点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

杜克大学 CEI Lab

杜克计算进化智能中心（CEI Lab）隶属于杜克大学电子与计算机工程系，在陈怡然教授和李海教授的共同指导下，开展关于处理认知任务的新型计算平台的前沿研究。组内主要研究方向集中在纳米电子元件，新型及仿生的计算体系架构，新型存储器件，嵌入式与边缘计算系统，以及大型神经网络的加速、安全与联邦学习。

4月13日、14日、15日晚上8:00，本期特别邀请陈怡然教授和杜克大学CEI Lab的七位学者们将给大家带来精彩的分享！

扫描二维码预约直播

（或点击阅读全文预约）

本期特邀嘉宾

陈怡然教授：

现任杜克大学电子与计算机工程系教授，美国国家科学基金委（NSF）下一代移动网络与边缘计算人工智能研究院（Athena）主任，美国国家科学基金委（NSF）新型与可持续计算（ASIC）校企合作研究中心（IUCRC）主任，以及杜克大学计算进化智能研究中心联合主任。他的团队致力于新型内存与存储系统，机器学习与神经形态计算，以及移动计算系统的研究。陈怡然博士曾出版一部专著，发表近500篇学术论文，并获得了96项专利。他曾担任数十本国际学术期刊的编辑，并在超过60个国际学术会议的技术与组织委员会中任职，现任IEEE电路与系统杂志的主编。在MICRO, KDD, DATE, SEC等知名国际学术会议和研讨会中，他曾获得8项最佳论文奖，一项最佳海报奖，以及14项最佳论文提名。陈怡然博士因其对学术社区的贡献也收获了多项奖项，如IEEE计算机协会Edward J. McCluskey技术成就奖，ACM 设计自动化组织（SIGDA) 服务奖等。他同时是ACM与IEEE会士（Fellow），并担任ACM设计自动化组织（SIGDA) 主席。

4月13日 20:00-21:30

联邦学习专题

李昂：

目前就读于杜克大学电子与计算机工程系，师从陈怡然和李海老师。他的主要研究方向为设计高效和可信任的边缘智能系统和应用，具体包括联邦学习，端边云协同的智能计算系统，数据安全与隐私保护。他将加入马里兰大学电子与计算机工程系担任助理教授。

分享内容：

通信和计算效率联合优化的个性化联邦学习

报告简介：

联邦学习是一种新兴的分布式机器学习模式，其目标是在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下，帮助许多客户(例如移动设备或整个组织)在保持数据分散的同时协同训练一个模型。但是联邦学习的发展和应用面临诸多实际挑战，包括通信成本、数据异质性、计算开销等等。本次报告主要分享最新收录在2021 ACM SenSys的研究工作“FedMask: Joint Computation and Communication-Efficient Personalized Federated Learning via Heterogeneous Masking”。该工作提出了一种新的联邦学习框架FedMask，可以极大的降低通信成本，提高模型训练和推断效率，还能解决联邦学习训练过程中的数据异质性问题。

孙经纬：

本科毕业于武汉大学电子工程系，目前在杜克大学电子与计算机工程系攻读博士学位，师从陈怡然和李海老师。他的主要研究方向为提升联邦学习系统的效率，隐私性与鲁棒性。

分享内容：

基于特征的联邦学习隐私保护算法

报告简介：

用户数据隐私性是近年来联邦学习收到关注并迅速发展的关键驱动力之一。然而已有研究表明，即使不直接访问用户数据，用户数据的隐私泄露问题在联邦学习中依然很严重。本次报告将从数据特征泄露的角度探讨用户数据在联邦学习中泄露的关键原因。基于此，我们提出了针对特征泄露的一种鲁棒性可证的用户数据隐私保护算法。此算法旨在找出数据特征中包含数据隐私最多的分量，并在本地训练过程中予以抹除，在保护用户数据隐私的基础上，最大限度地保证模型性能。

4月14日 20:00-21:30

高效鲁棒深度学习

杨幻睿：

本科毕业于清华大学电子工程系，目前就读于杜克大学电子与计算机工程系，师从李海和陈怡然老师。杨幻睿即将在5月获得博士学位毕业，并将加入加州大学伯克利分校从事博士后研究。杨幻睿的主要研究方向为提升深度学习模型的运行效率和鲁棒性。

分享内容：

面向低精度量化的神经网络训练算法

报告简介：

对神经网络进行低精度量化，尤其是混合精度量化，是提升神经网络部署效率的重要方法之一。然而，如何让神经网络适应低精度的表示，如何选取最合适的量化精度，依然存在很多没有解决的问题。本报告将从两方面探讨低精度神经网络的训练方法。为了获得最优的量化精度，我们提出了BSQ比特稀疏量化算法，使模型能在训练过程中自发得到合适的混合精度。为了使模型更适应量化带来的性能影响，我们进一步提出了用权值鲁棒性描述模型泛化能力和低精度表现的理论模型，并依据此模型提出HERO训练算法以提升模型的权值鲁棒性，进而获得泛化能力强且对低精度量化鲁棒的模型。两种方法为获得更高效且性能更好得神经网络模型提供了可能性。

张屯厚:

本科毕业于复旦大学微电子系，目前是杜克大学电子与计算机工程系二年级博士生，师从陈怡然和李海老师。他的主要研究方向自动机器学习，具体为基于拓扑感知的神经网络架构搜索。

分享内容：

基于拓扑感知的高效神经网络架构搜索

报告简介：

神经网络架构搜索是机器学习自动化中的重要一环。现有的神经网络架构搜索工作基于现有网络模块进行搜索，这极大限制了可探索的网络架构并约束了网络的潜在性能。此外，由于现有搜索方法没有利用神经网络结构与模块中的拓扑信息，搜索过程非常耗时且并不能准确的找到良好和高效的架构。为了解决这些问题并充分利用神经网络架构中的拓扑信息，我们提出了一套基于拓扑感知的神经架构搜索方法以探索新颖的神经网络模块，并将其泛化成有向无环图的形式。我们首先提出了AutoShrink算法，用于逐步缩减巨大的有向无环图搜索空间，这让我们在短时间内搜寻高效的神经网络模块。其次，我们提出NASGEM算法，利用拓扑信息为结构相似的神经网络模块赋予相似的图编码和表达，这为搜索算法提供更好的先验知识和更准确的神经网络架构性能评估。在主流的计算机视觉任务上，我们提出的方法在获得了高精度、高效的神经网络架构的同时，极大地减少了搜索时间和开销。

张静阳：

本科毕业于清华大学电子工程系，目前是杜克大学电子与计算机工程系三年级博士生，师从李海和陈怡然老师。他的主要研究方向为提升深度学习模型的安全性和可靠性，具体包括对抗攻击/防御，开集识别/OOD检测。

分享内容：

细粒度OOD检测/开集识别初探

报告简介：

OOD检测/开集识别是关于深度学习系统可靠性的重要问题。先前工作大多关注粗粒度的场景而忽视了细粒度情景。细粒度环境中，未知样本可能与已知样本有着极高的视觉/语义相似度。检测这些细粒度未知样本进而变得十分困难。本工作中，我们首先构建了四个大型的针对细粒度OOD检测的测试环境，并发现已有方法对细粒度未知样本检测效果不佳。基于初始实验和分析，我们发现检测的难点在于现有方法不能很好的约束模型对于细粒度未知样本的输出。进而我们提出了MixOE来解决这一问题。MixOE在四个测试环境中均显著提升了细粒度OOD检测精度。我们希望该工作可以帮助未来研究更好地探索细粒度OOD检测这一有挑战性的问题。

4月15日 20:00-21:00

软硬件协同优化专题

李石宇：

本科毕业于清华大学自动化系，目前是杜克大学电子与计算机工程系三年级博士生，师从李海和陈怡然老师。他的主要研究方向为计算机体系结构以及深度学习系统的软硬件协同设计。

分享内容：

通过软硬件协同设计加速稀疏卷积神经网络

报告简介：

通过剪枝去除冗余权值是一种常见的压缩神经网络的方法。然而，由于剪枝所生成的稀疏模式较为随机，难以有效被硬件利用，之前方法实现的压缩比与硬件上实际时间的推理加速有较大的差距。而结构化剪枝方法又因为对剪枝过程加以限制，只能实现较为有限的压缩比。为了解决这一问题，本工作中，我们设计了一种硬件友好的压缩方法。通过分解原始权重矩阵，我们将原来的卷积分解为两个步骤，对输入特征的线性组合以及使用基卷积核的卷积操作。基于这一结构，我们相应设计了稀疏神经网络加速器来高效地跳过冗余操作，实现提升推理性能和能耗比的目的。

谢知遥：

本科毕业于香港城市大学，博士毕业于杜克大学，师从陈怡然和李海教授。研究方向包括机器学习与芯片设计自动化，尤其是智能化的芯片设计方法。谢知遥将加入香港科技大学任助理教授。他曾在多家半导体公司实习，包括Cadence，Synopsys，NVIDIA，Arm。

分享内容：

可用于大规模商业化处理器的全自动化功耗模拟架构

报告简介：

而随着摩尔定律日益失效，获得每一代CPU性能提升变得越来越困难。为了获得更好的性能，CPU内的功耗与电流需求不断增加，CPU的功耗成为一个日益严重的问题。相比之下 CPU的输电技术进展依然缓慢。这导致最终CPU获得的电压低于设计电压。为了解决这些问题，本报告将介绍APOLLO框架，它使用一套统一的机器学习模型同时对设计和运行阶段的CPU功耗进行极低开销的快速实时计算。它自动选取极少量与功耗最相关的CPU信号作为输入，然后建立快速的模型，用于对每个周期的功耗进行预测或监测。这种功耗计算能力可能会极大改变CPU的设计和使用方式，同时开启新的应用领域。同时这个方法的整个流程是完全自动化的，不依赖任何工程师的经验。所以理论上它可以用于任何芯片设计。它在商业化的CPU设计Neoverse N1和Cortex-A77上得到了充分验证。

直播结束后大家可以在群内进行提问，请添加“AI TIME小助手（微信号：AITIME_HY）”，回复“PhD-4”，将拉您进“AI TIME PhD 交流群-4”！

AI TIME微信小助手

主       办：AI TIME

合作媒体：AI 数据派、学术头条

合作伙伴：智谱·AI、中国工程院知领直播、学堂在线、蔻享学术、AMiner、 Ever链动、科研云、络绎科学

往期精彩文章推荐

记得关注我们呀！每天都有新知识！

关于AI TIME

AI TIME源起于2019年，旨在发扬科学思辨精神，邀请各界人士对人工智能理论、算法和场景应用的本质问题进行探索，加强思想碰撞，链接全球AI学者、行业专家和爱好者，希望以辩论的形式，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

迄今为止，AI TIME已经邀请了550多位海内外讲者，举办了逾300场活动，超120万人次观看。

我知道你

在看

哦

~

点击 阅读原文 预约直播！