翻遍用AI检测新冠的论文,一篇临床可用的也没有?!
点击上方“视学算法”,选择加"星标"或“置顶”
重磅干货,第一时间送达
丰色 鱼羊 发自 凹非寺
量子位 报道 | 公众号 QbitAI
搜集的全部新冠机器学习“看片”论文,一篇能用的都没有?!
就在“广州两名医务人员核酸检测呈阳性”的新闻再度牵动大家伙的神经之际,一项来自剑桥大学的新研究也在外网上点燃了炸药桶。
打从疫情之初,就有不少机器学习领域的研究人员,希望借助AI之力,帮助医务人员更好地保护自己:
去年1月到10月,就有2000多篇相关论文发表。
但是,就在AI比较成熟的看片领域,剑桥大学的结论却让人大跌眼镜:
搜集到的关于用AI进行新冠病毒医学图像检测、诊断的论文,都存在重大缺陷和偏差,没有临床使用的可能性。
论文已发表在Nature Machine Intelligence上。
而如此“残酷”的结果,正可谓一石激起千层浪,专家学者纷纷转发讨论不说,也在社交媒体上引发了网友的热议。
有不少相关从业者表示:“这给我们上了重要的一课。”
究竟是怎么一回事?
为什么不能用?
具体而言,剑桥大学的研究人员一开始在bioRxiv、medRxiv、arXiv等预印本论文平台,以及EMBASE和MEDLINE数据库中,按照“机器学习模型”、“CXR(胸部X光照片)/CT图像诊断、预测”这样的关键词,搜集到了2212项相关研究。
从中剔除掉缺乏外部验证、忽略了数据源或模型训练信息不完整的论文之后,通过初筛的论文有415篇。
而在进一步提高对论文的要求,比如排除掉RQS(放射性质量评分)<6、未能通过CLAIM(医学影像人工智能检查表)的模型之后,入选最终评审阶段的论文有62篇。
而这62篇,都没有潜在的临床应用价值。
对此,论文作者之一、来自剑桥大学医学部的James Rude博士表示:
国际机器学习界在帮助应对Covid-19流行病上做出了巨大的努力。这些早期研究让我们看到了一些希望,但它们在方法和报告(methodology and reporting)方面的缺陷非常普遍,我们审查的论文中没有一篇达到支持临床应用所必需的健壮性和可重复性。
在这62篇论文中,有55篇被发现由于各种问题而存在高偏见风险,包括依赖公共数据集,其中许多疑似阳性Covid-19的CT图像也没检测出来。
△每篇论文的数据指标
所有这些模型在研究中都看起来高度准确,一到临床就原形毕露(例如不同类型的患者或使用不同设备获得的成像扫描)。
这“全军覆没”的背后,主要还是数据集的问题。
其中许多模型都是在样本数据集极小的情况下训练的,有的数据还只来自一家医院,换个城市换个医院,这模型完全就不奏效了。
也有模型是基于公开的“Frankenstei数据集”来进行训练的。这样的大型数据集存在的问题是,随着时间推移,数据集不断发展、融合新的数据,这些变化很可能使得最初的结果无法复现。
更有甚者,训练和测试用的是同一个数据集。
当然,这也许不是研究人员存心这么做,由于法律和商业原因,很多医疗数据集都得保密,可供研究人员训练和验证的大型又多样化的数据真的很少。
这也导致医疗保健领域出品的机器学习研究特别难以复制,麻省理工就做过一项研究:
医疗AI论文复现率只有23%,而自然语言处理领域为58%,计算机视觉领域则达80%。
但数据集还只是一方面。其中也有方法设计不当和缺乏放射科医生和临床医生参与的问题。
例如,有模型的训练集采用儿童的CT图像作为“非Covid-19”数据、成人的作为“Covid-19”数据。
但实际上,在儿科就诊的儿童,在人体解剖结构上与成人有很大差异。这样的数据设置并不合理,训练出来的模型就会存在很大偏差。
“而无论大家是用机器学习来预测天气还是检测疾病,确保不同的专家在一起工作并说相同的语言很重要,这样才可以关注正确的问题。” 可惜的是,很多模型都没有让放射科医生和临床医生参与进来。
另外,时间限制也可以被解释为这一系列问题的“借口”。
“这些障碍都必须克服,不然就要面对信任危机”
当然,大量此类论文发表却全部无法应用的背后,说明这方面论文的审查制度也有问题,例如审稿人缺乏对机器学习的深入了解,或对知名机构或公司盲目信任等等,导致这些论文被草草通过。
但最重要是审稿机构缺乏一致的标准来评估医学领域的机器学习研究。剑桥大学的研究人员认为作者和审稿人之间需要建立一套共同的标准,确保研究真的解决了实际问题。
最后,尽管大量的Covid-19模型被发现无法复现应用于临床,剑桥大学的研究人员表示,经过一些关键的修改,这些机器学习模型还是可以成为抗击新冠的有力工具。
他们给出了一些总结和建议:
公共数据集可能导致严重的偏差风险,谨慎使用;
为了使模型适用于不同的群体和独立的外部数据集,训练数据应该保持多样性和适当的大小;
除了更高质量的数据集外,还需要可复现和外部验证的证明,这样才能增加模型被推进并整合到未来临床试验中的可能性。
并表示这些障碍都必须克服,不然人们对人工智能的信任将从何谈起?
此外由于隐私限制难以获取医疗数据,除了采取联邦学习,也可以参考一下最新发表在Nature封面上的联合学习 (Swarm Learning ),一项优于联邦学习的医疗数据共享技术。
AI看片到底行不行?
面对剑桥大学的结论,有网友感到忧心忡忡:
如今,AI/ML的价值和可信度正在被稀释。当我听到“AI解决方案”、“AI驱动”这样的字眼时,甚至会感到紧张。
也有网友认为,这与当下机器学习领域论文“灌水”之风不无关系。
但也有网友客观地分析,认为AI确实已经在医疗影像方面发挥了作用,只是它们替代不了医生,更多是在扮演医生的助手,并且目前,AI并没有办法去应对一些真正困难的情况。
而针对文章谈到的数据问题,有不少网友表示赞同:
数据并不是唯一的问题,但似乎是最直接的原因。
是时候为AI模型和数据集构建“蛋白质银行”这样的数据库了。
事实上,无论你对AI医疗是否持怀疑的态度,现在,至少像AI看片这样的医疗服务,已经真真切切来到了大众身边。
此前,量子位的同事就曾在中关村医院让AI给拍了一次CT。
而在与一线医生的沟通交流中,也有在三甲医院负责体检中心的主任医生向我们透露:如检测肺结节这样的单点应用,已经能够帮助医生减轻负担。
甚至还有放射科医生表示,“现在不用(AI辅助看片),还有点不习惯”。
Stat News则对此评论称:
机器学习在医疗领域蓬勃发展,同时也面临着信誉危机。
那么,你觉得AI医疗到底行不行呢?
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容,未经账号授权,禁止随意转载。
点个在看 paper不断!
翻遍用AI检测新冠的论文,一篇临床可用的也没有?!相关推荐
- 他们翻遍用AI检测新冠的论文,一篇临床可用的也没有?!
丰色 鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 搜集的全部新冠机器学习"看片"论文,一篇能用的都没有?! 就在"广州两名医务人员核酸检测呈阳性" ...
- 两大图灵奖得主点赞中国用AI检测新冠,AI还能做什么?
作者 | CV君 来源 | 我爱计算机视觉 封图| CSDN│下载于视觉中国 在这次新冠肺炎疫情肆虐的时候,AI 成为对抗疫情的亮点,前几天两大图灵奖得主 Yoshua Bengio 和 Yann L ...
- 对着手机咳嗽一声,就能检测新冠了?还是剑桥大学出品
视学算法报道 编辑:Aeneas 好困 [导读]这个AI算法竟然可以听声辨新冠,而且准确率高达89%! 新冠病毒的出现,真算是打开了潘多拉的魔盒. 如今不断新出现的变种,打乱了整个地球人的生活 ...
- 《柳叶刀》文章用AI寻找新冠肺炎潜在有效药物;东北话做编程语言招人稀罕 ...
行 业 要 闻 Industry News ▲▲▲ 01 GitHub 中文趋势榜第一! nCovMemory 项目的中文名称是「2020新冠肺炎记忆:报道.非虚构与个人叙述」,创立该项目的目的是 ...
- 1210篇新冠肺炎论文文献合集整理,附论文原文地址(合集)
1210篇新冠肺炎论文文献整理,附论文原文地址(合集) 近期国内的新冠肺炎得到了一定的好转,但是相关的研究和治疗方向一直没有一个明确的说法.我在搜索相关文献时,发现了一个新冠肺炎相关文献的合集.在这里 ...
- 获FDA紧急批准,检测新冠肺炎心血管并发症的AI算法将在梅奥诊所应用
2020-05-17 13:07 导语:半年前获得FDA突破性设备认定,特殊作用助其快速获批. 雷锋网消息,近日,FDA近日紧急授权(EUA)了Eko公司的心血管并发症AI检测算法.据了解,作为基于E ...
- 含最新数据! 使用Python检测新冠肺炎疫情拐点
注:本文案例仅供技术学习,不代表研究性观点. 本文对应代码.数据及文献资料已上传至Github仓库https://github.com/CNFeffery/DataScienceStudyNotes ...
- 达摩院 AI 进入中国科技馆,首张 AI 识别新冠 CT 成科技抗疫历史见证
简介: 5 月 29 日消息,全国科技工作者日来临之际,一个特别的藏品入选中国科技馆"2020 数字馆藏"--阿里巴巴达摩院 AI 识别标注的第一张新冠肺炎 CT 影像.达摩院AI ...
- 用 X 光检测新冠肺炎?也许孪生网络+迁移学习是更好的选择!
始于2019年的新冠肺炎仍然肆虐全球,快速低成本检测该疾病成为了医学技术领域最热门的话题,早已有专家发现,核酸+胸部医学影像检测相结合是更可信的检测手段. 胸部X光影像是低成本的检测技术,但深度学习往 ...
最新文章
- php 自动返回,PHP实现自动识别Restful API的返回内容类型
- ECMAScript5之JSON对象属性的遍历顺序
- 渗透知识-linux基础命令
- WP7之题样式与数据绑定
- Highcharts JS去除Highcharts.com链接的方法
- Table Controls in ABAP Programs
- 深入理解Spark 2.1 Core (二):DAG调度器的原理与源码分析
- Android下Cocos2d创建HelloWorld工程
- guided Filter--引导滤波算法原理及实现
- 多线程01,线程基础知识
- CF1041E Tree Reconstruction
- 分布式系统概念与设计——阅读笔记(一)
- 2019 计蒜之道 初赛 第三场 - 淘宝商品价格大PK
- 39. 组合总和:给你一个 无重复元素 的整数数组 candidates 和一个目标整数 target ,找出 candidates 中可以使数字和为目标数 target 的 所有 不同组合 ,并以列
- Method-Swizzling 方法交换
- FPGA-VGA驱动Color Bar显示
- Oracle中的dual表
- Linux系统网络服务——安全与防火墙笔记
- 全局gin对象如何在子模块中修改Logger
- 液晶显示器c语言编程,51驱动1602液晶显示器c程序