这个登上Nature封面的「群体学习」,无需中央协调员,比联邦学习更优秀
丰色 发自 凹非寺
量子位 报道 | 公众号 QbitAI
如今,在一些疾病的诊断领域,AI的准确率已经超过了医生。
靠谱的诊断结果背后,是建立海量数据集上的机器学习。
但实际上,可用于训练的医疗数据非常分散,想要把世界各地的数据都集合起来又会引发对数据所有权、隐私性、保密性、安全性的担忧,甚至数据垄断的威胁……
常用的方法如联邦学习,可以解决上述的一些问题,但该模型的参数由“中央协调员”( central coordinator)处理,造成了“权力”的集中,且它的星形架构也导致容错性降低。
就没有好的解决办法吗?
有,Nature封面为我们刊登了一种叫做Swarm Learning (群体学习,SL)的全新机器学习方法!
该方法结合了边缘计算、基于区块链的对等网络,无需“中央协调员”,超越了联邦学习,可以在不违反隐私法的情况下集合来自世界各地的任何医疗数据。
研究人员用了四个异质性疾病 (结核病、COVID-19、白血病和肺部病变),来验证了Swarm Learning方法使用分布式数据来诊断疾病的可行性。
具体如何实现?
群体学习方法采用去中心化的架构,用私人许可的区块链技术实现。
整个Swarm网络由多个Swarm边缘节点组成,节点之间通过该网络来共享参数,每个节点使用私有数据和网络提供的模型来训练自己的模型。
该方法提供安全措施,以支持通过私有许可区块链技术保证数据的所有权、安全性和机密性。
其中,只有预先授权的参与者才能加入,且新节点的加入是动态的,通过适当的授权措施来识别参与者,并通过区块链智能合约注册,让参与者获得模型,执行本地模型训练。
直到本地模型训练到满足定义的同步条件后,才可以通过Swarm的API交换模型参数,并在新一轮训练开始之前,合并新的参数配置来更新模型。
△ 群体学习与其他机器学习方法的架构对比
因此该群体学习方法具有以下特点:
可以将数据所有者的医疗数据保存在本地;
不需要交换原始数据,因此可减少数据流量(data traffic);
可以提供高水平地数据安全保护;
无需中央管理员就可保证分散成员安全、透明和公平地加入;
允许所有成员同等权利地合并参数;
保护机器学习模型免受攻击。
为了验证该方法基于分布式数据开发诊断疾病功能的可行性,研究人员用它来诊断四种疾病。
区分轻度和重度 COVID-19 ,表现优于单个节点
首先是白血病。
研究人员将超过12000多个的样本数据“孤立”到各个节点,以模拟中现实世界中分布在世界各地的医疗中心。
再用群体学习训练这些数据再去诊断未知病人,他们发现,无论如何改变各个节点的样本分布情况,群体学习方法的诊断准确率均优于单个节点。
接着使用群体学习识别结核病或肺部病变患者,结果也是如此,且减少训练样本的数量以后,群体学习的预测效果虽然下降,但仍优于任何一个单独的节点。
紧跟疫情,研究人员也检测了群体学习对于诊断新冠病毒的效果。
结果显示,在区分轻度和重度 COVID-19 时,群体学习的表现优于单个节点。
最后,研究人员表示,群体学习作为一个去中心化的学习方法,有望取代目前跨机构医学研究中的数据共享模式,在保证数据隐私等方面的情况下,帮助AI获得更丰富全面的数据,为AI诊断疾病提供更高的准确率。
论文地址:
https://www.nature.com/articles/s41586-021-03583-3
GitHub代码:
https://github.com/schultzelab/swarm_learning
这个登上Nature封面的「群体学习」,无需中央协调员,比联邦学习更优秀相关推荐
- 这个登上Nature封面的群体学习,无需中央协调员比联邦学习更优秀
如今,在一些疾病的诊断领域,AI的准确率已经超过了医生. 靠谱的诊断结果背后,是建立海量数据集上的机器学习. 但实际上,可用于训练的医疗数据非常分散,想要把世界各地的数据都集合起来又会引发对数据所有权 ...
- 这个「化学家」登上Nature封面:工作007,8天完成近700次实验,还设计出新催化剂...
白交 发自 凹非寺 量子位 报道 | 公众号 QbitAI 每天工作近22小时,连续8天工作,谁受得了? 这个「化学家」OK的! 最近,Nature封面上就隆重介绍了他--这个「化学家」身高1.75 ...
- 谷歌量子计算登上Nature封面,首次实现量子优越性,里程碑式突破
这是量子计算领域的里程碑事件:谷歌在被称为「量子优越性」方向上的重大突破研究,登上了<自然>杂志 150 周年版的封面. 它或许标志着量子计算正在走向实用化:谷歌已经利用一台 54 量子比 ...
- AI赛车手登上Nature封面,人工智能选手如何狂虐人类顶级玩家?
高能力的AI在各种游戏中打败人类, 这些消息近年来频频出现. 不管是早年的国际象棋.问答比赛, 还是近年的围棋.星际争霸.刀塔2. 从国际象棋到围棋再到扑克, AI 智能体在许多游戏中都胜过人类. 在 ...
- 喜报!985大学首次登上Nature封面,这所学校可太不容易了!
全世界只有3.14 % 的人关注了 爆炸吧知识 建校64年来,第一次登上期刊封面又一所985院校出息了! 伦敦时间6月4号,<Nature>刊发了电子科技大学邓旭教授团队的最新研究成果,并 ...
- 弯道极限超车、击败人类顶级玩家,索尼AI赛车手登上Nature封面
来源:机器之心 在<GT 赛车>中战胜数位全球顶级电子竞技赛车手,索尼 AI 开发了一个超强大的赛车 AI 智能体. 从国际象棋到围棋再到扑克,AI 智能体在许多游戏中都胜过人类.现在,这 ...
- 清华“天机”芯片登上Nature封面!七大院系参与研发,全球首款异构融合类脑芯片
大数据文摘出品 作者:大数据文摘编辑部 今天,一辆来自清华的无人驾驶自行车登上了Nature的封面. 这辆自行车不仅可以平衡自身,还可以绕过障碍物,甚至可以响应简单的声音命令. 自行车能够按照声音命令 ...
- 清华大学「天机」芯片登上Nature封面:类脑加传统计算融合实现通用人工智能...
机器之心报道 机器之心编辑部 8 月 1 日,顶级学术期刊<自然>杂志的封面文章介绍了清华大学在通用人工智能上的新尝试:一款名为「天机」的全新芯片架构,结合类脑计算和人工智能算法,展示了迄 ...
- 机器人替代研究员,工作007,完成688次实验,登上Nature封面
点击上方"视学算法",选择"星标" 快速获得最新干货 本文转自机器之心 今天也要做实验吗?不必了,现在有机器人可以帮忙. 在化学.生物等领域,不少研究生的生活可 ...
最新文章
- 不常用≠没用 Win7容易忽略的四个功能
- 在CodeBlocks下配置GoogleTest单元测试框架
- 2009网络视频监控业务分析及市场发展研究报告
- 命令行shell 用于SQLite
- 远程mysql_java.sql.SQLException: null, message from server: Host 'xxx' is not allowed to connect
- vue 动态设置浏览器标题
- php 手写签批 手机办公_好签原笔迹手写签批SDK
- 如何迅速提升网站流量
- 68 ping: Lacking privilege for raw socket.
- STM32通用定时器实现us微秒延时
- 高等数学——导数的定义和常见导数
- MBA提前面试——第一章 提面总论
- LeetCode【每日一题】 1095. 山脉数组中查找目标值
- 20P76 pr预设模板850个缩放炫光毛刺干扰透视平移无缝视频转场
- 思科无线AP版本15.2配置实例
- 7个简单步骤创建企业邮箱教程
- openstack创建虚机的过程
- Python爬取去哪了旅游景点数据
- 春眠不觉晓,SQL 知多少?
- vue中实现拖拽排序