北京智源人工智能研究院（简称“智源研究院”）是落实“北京智源行动计划”的重要举措，是在科技部和北京市委市政府的指导和支持下，由北京市科委和海淀区政府于2018年11月推动成立的新型研发机构。

为支持科学家勇闯人工智能科技前沿“无人区”，挑战最基础的问题和最关键的难题，推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破，智源研究院先后成立了「人工智能的数理基础」、「机器学习」、「智能信息检索与挖掘」、「智能体系架构与芯片」、「自然语言处理」、「人工智能的认知神经基础」等六个重大研究方向。

「人工智能的数理基础」重大方向，以北京大学张平文院士牵头，分别来自北大、清华、中科院的12位学者，围绕当前人工智能面临的可计算性、可解释性、泛化性、稳定性的重大理论挑战，以期打破基于计算机实验和神经科学的人工智能管用建模范式，建立以数学与统计理论为第一原理的新一代人工智能方法论。

为促进该领域最前沿研究在国内广泛、快速地传播，以及提供学科交叉碰撞的平台，智源研究院「人工智能的数理基础」方向的诸位学者将不定期邀请世界范围内的顶尖学者进行系列前沿报告。

本期报告，我们分别邀请了中山大学计算机科学与工程学院教授凌青、北京大学光华管理学院教授王汉生、中国科学院深圳先进技术研究院副研究员陈荣亮，就其最新研究做报告讲解。

时间形式

1. 会议时间：2021年4月28日14:00-17:00

2. 活动形式：腾讯会议（ID ：779 449 843）

报名入群：

（入会、交流、资料获取）

活动日程

会议详情

报告一

报告主题：Federated Variance-Reduced Stochastic Gradient Descent With Robustness to Byzantine Attacks

报告人：凌青

个人简介：凌青，2001年获中国科学技术大学自动化学士学位，2006年获中国科学技术大学控制理论与控制工程博士学位。2006年至2009年在美国密歇根州立大学电气与计算机工程系从事博士后研究，2009年至2017年在中国科学技术大学自动化系担任副教授，现为中山大学计算机科学与工程学院教授。他目前的研究兴趣包括分布式和分散优化及其在机器学习中的应用。作为导师，他获得了2017年IEEE信号处理学会青年作者最佳论文奖，他是 IEEE SIGNAL PROCESSING LETTERS 的高级领域编辑。

报告摘要：This talk discusses distributed finite-sum optimization for learning over multiple workers in the presence of malicious Byzantine attacks. Most resilient approaches so far combine stochastic gradient descent (SGD) with different robust aggregation rules. However, the sizeable SGD-induced stochastic gradient noise challenges discerning malicious messages sent by the Byzantine attackers from noisy stochastic gradients sent by the ‘honest’ workers. This motivates reducing the variance of stochastic gradients as a means of robustifying SGD. To this end, a novel Byzantine attack resilient distributed (Byrd-) SAGA approach is introduced for federated learning tasks involving multiple workers. Rather than the mean employed by distributed SAGA, the novel Byrd-SAGA relies on the geometric median to aggregate the corrected stochastic gradients sent by the workers. When less than half of the workers are Byzantine attackers, Byrd-SAGA attains provably linear convergence to a neighborhood of the optimal solution, with the asymptotic learning error determined by the number of Byzantine workers. Numerical tests corroborate the robustness to various Byzantine attacks, as well as the merits of Byrd-SAGA over Byzantine attack resilient distributed SGD.

报告二

报告主题：基于局部二次逼近的自动学习率

报告人：王汉生

个人简介：王汉生，北京大学光华管理学院商务统计与经济计量系，教授，博导，系主任。全国工业统计学教学研究会青年统计学家协会创始会长，美国统计学会（ASA）Fellow，国际统计协会（ISI）Elected Member。先后历任8个国际学术期刊副主编（Associate Editor）。在国内外各种专业杂志上发表文章100+篇，并合著有英文专著共1本，（合）著中文教材4本。是爱思唯尔中国高被引学者（数学类，2014—2018）。

在理论研究方面，王汉生教授主要关注变量选择、数据降维、高维数据分析、以及复杂网络数据分析等领域。其所有这些研究都是以大规模、复杂、超高维数据分析为核心。相关的应用领域包括但不局限于：中文文本、网络结构、位置轨迹。在业界实践方面，其曾担任博雅立方科技有限公司首席科学家（2009—2015），百分点首席统计学家（2015—现在）。此外，其与量帮科技、考拉征信、彩虹无线、蓬景数字、西门子、三一重工、格灵深瞳、天罡仪表、广联达等众多企业均有联合研究工作，涉及量化投资、互联网征信、车联网、移动设备RTB广告竞价、搜索引擎营销、电子商务、重装制造业等多个重要行业。

报告摘要：In deep learning tasks, the update step size determined by the learning rate at each iteration plays a critical role in gradient-based optimization. However, determining the appropriate learning rate in practice typically relies on subjective judgement. In this work, we propose a novel optimization method based on local quadratic approximation (LQA). In each update step, we locally approximate the loss function along the gradient direction by using a standard quadratic function of the learning rate. Subsequently, we propose an approximation step to obtain a nearly optimal learning rate in a computationally efficient manner. The proposed LQA method has three important features. First, the learning rate is automatically determined in each update step. Second, it is dynamically adjusted according to the current loss function value and parameter estimates. Third, with the gradient direction fixed, the proposed method attains a nearly maximum reduction in the loss function. Extensive experiments were conducted to prove the effectiveness of the proposed LQA method.

报告三

报告主题：High Performance Blood Flow Simulation Algorithms and Applications

报告人：陈荣亮

个人简介：陈荣亮，博士，中国科学院深圳先进技术研究院副研究员，深圳市E级工程与科学计算实验室副主任，深圳市海外高层次人才。湖南大学计算数学学士(2006.07)，湖南大学和美国科罗拉多大学联合培养博士(2012.07)。主要从事面向工程应用的并行算法和软件研发工作。研究方向包括：高性能计算理论、算法和软件，流体、固体及流固耦合计算等。研究领域涉及人体血流动力学模拟，航空航天飞行器气动分析，汽车、高速列车和大型风能发电的气动优化设计，城市污染物扩散计算等。目前已发表学术论文四十余篇，主持国自然金青年基金、面上项目、国家重点研发计划国际合作、深圳市优秀青年基金、深圳市基础研究学科布局等多项科研项目。

报告摘要：Image data can provide increasingly detailed information of anatomy and flow, but imaging alone is not a predictive tool. Patient-specific blood flow simulations have the potential to provide quantitative predictive tools for virtual surgery, treatment planning, and risk stratification. To accurately resolve the blood flows based on the patient-specific geometry and parameters is still a big challenge because of the complex geometry and the turbulence, and it is also important to obtain the results in a short amount of computing time so that the simulation can be used in clinical diagnosis and surgery planning. In this talk, we will discuss some scalable parallel methods for the simulation of blood flow in compliant arteries on large-scale supercomputers. As applications, we will show some patient-specific blood flow simulations in cerebral, coronary, liver, abdominal aorta etc.