转自 | 量子位

只要输入一次心跳的波谱。就能判断一个人有没有发生心力衰竭 (CHF) ，准确率100%。这是英国华威大学领衔的团队，用机器学习方法做出的新成果。还登上了影响因子2.943的Biomedical Signal Processing and Control期刊。准确率眼看就要突破天际，高得反常识，招来了铺天盖地的质疑：主要的疑点有两个：疑似过拟合 (没有规律硬拗出规律) ，疑似数据泄漏 (训练集和测试集有重叠) 。一日之间，话题在Reddit论坛的热度已经超过了400：那么，来看看到底发生了什么。

怎样的研究

这项研究，是依靠心电图 (ECG) 来推测，人有没有出现充血性心力衰竭 (CHF) ，也就是人们常说的心力衰竭：指的是心脏没能推送足够的血量，维持身体所需。来自华威大学、佛罗伦萨大学以及萨里大学的科学家们，想让AI去看看心力衰竭的心电图波形有没有规律可寻。于是，团队设计了一维的卷积神经网络 (CNN) ，用公开的心电图数据集，训练它给心电图做二分类：正常 vs 心衰。训练完成后，团队用490,505次心跳的数据集测试了模型，结果训练集上的分类准确率达到了99.9%：论文还写到，重要的是模型发现了心衰的心电图，有非常突出的形态特征可以用于诊断：不过，研究用的数据集受到了质疑，准确率受到了质疑，连AI发现的重要特征也受到了质疑。

实验的漏洞

乍一看，论文的样本数量似乎很大，论文作者采集了275,974正常的ECG心跳样本和214,531个心脏衰竭患者的样本，总数量达到了49万个。但仔细一看，其实样本的数量是非常少的，总共也只有33个人，一个人多个的心跳不是独立样本。心衰患者的数据来自BIDMC数据集，每秒采样250个样本；正常人的数据来自MIT-BIH，每秒采样128个样本。当采用两个不同数据集时，需要对其中一组数据进行下采样，匹配另一组数据的频率。不过研究人员已经注意到这一点，在训练前做了预处理，大漏洞不在这里。但之后的训练过程，就令人产生了数据泄漏 (Data Leakage) 的质疑。首先，数据集被随机分成三个较小的子集，分别进行训练、验证和测试(相当于总数据的50％、25％和25％)。每个人的心跳数据只包含在了一个数据集中，没有在多个数据集里重复出现。因为作者知道，如果一个人的心跳数据，在训练集和测试集都出现，存在交叉验证的可能性。但是这又带来一个问题，测试集中只有少数几个人的数据，这就相当于拿训练后的模型在个别样本上进行验证，结果的可靠性也大打折扣。为了保证结果在更多的数据上进行测试，作者又想到了另一种方法，将样本做10次随机分割，分别进行10次训练和评估，以减少分类结果带来的差异性。虽然一开始的方法避免了单次实验的交叉验证，但是多次实验取平均，等于又把交叉验证的问题带了回来，造成了数据泄露(Data Leakage)。然后，作者一个只有33个样本的数据上，用了三个1D卷积神经网络层进行拟合，准确率近乎100%，难免不让人觉得是过拟合。在训练集上避免过拟合，本来是“炼丹”过程的常识，却被作者作为一项优点来宣传。难怪有网友在吐槽：这是一篇门外汉写的机器学习论文。100%对于非机器学习领域的人来说是一件令人惊叹的事情，而专业人士看到只会说“什么鬼”。这篇论文还被发表在正式期刊上，有网友感叹：审稿人的水平哪去了，这个问题看不出来？另外，Hacker News上还有人 (@Cass) 说，AI总结出的两类心电图 (正常vs心衰)，根本就有问题：

看图4 (下图) ，正常心电图的“平均”波形，压根不是这样。P太平了，Q太大了，R太钝了，S和T之间也不应该有那个额外的波。如果，提取的正常人平均值都能这么混乱，得出怎样的结果都不奇怪了。

一直被滥用

这篇论文在Reddit上引起了激烈讨论。随着机器学习大热，很多其他领域的研究者，也开始用机器学习模型，来执行自己领域的任务。而跨学科的研究人员，如果对机器学习的理解不足，很容易出现大问题。比如，数据泄漏的问题，让人想起了去年8月在Nature发表的一篇预测余震的论文，来自谷歌和哈佛。今年，一位名叫Rajiv Shah的数据科学家用自己的实验证明，这篇文章是“深度学习的错误用法”。他一共提出了三个致命缺陷：最大的缺陷就是数据泄漏。算法在测试集上的表现，远远超过训练集。查看数据集发现，测试集和训练集，包含许多相同的地震。把重叠部分去掉之后，模型的表现下降到了传统方法的水平。第二个缺陷是，用随机森林这样的简单方法，也得出了相似的表现和结论。能用简单的方法，却用了复杂的方法，这就是消融实验 (Ablation Studies) 没做好。第三个缺陷是，论文中训练用了470万行数据，而Shah用1500行数据，就得到了几乎一样的表现。Shah认为，能用少量的数据解决问题，就不该用成千上万倍的数据量。这次重大的质疑，引起了业内的巨大关注，甚至有许多同行都来一起找Bug：10月2日，Nature又刊登了一篇质疑这项余震预测的论文，证明一个神经元的预测效果比一个六层的网络还要好，相当于否定了一年前的研究成果。这篇后发的论文指出，仅使用两个参数的逻辑回归模型，可以达到与深度学习方法相同的预测能力。机器学习是个好工具，但在使用它们的时候，需要充分了解它的特性、使用方法和局限性，而不是一味地套用，简单粗暴地进行数据拟合。目前机器学习还处在技术曲线的顶峰，等到热潮褪去，才能知道谁是真正的干货。新闻报道：https://www.surrey.ac.uk/news/new-ai-neural-network-approach-detects-heart-failure-single-heartbeat-100-accuracyhttps://www.forbes.com/sites/nicholasfearn/2019/09/12/artificial-intelligence-detects-heart-failure-from-one-heartbeat-with-100-accuracy/#228e5a067ac9论文地址：https://www.sciencedirect.com/science/article/pii/S1746809419301776—完—为您推荐

从6万用户评论中，选出23门全世界最好的CS免费课

GRE作文用AI打分，已经20周年了：AI给中国考生的分数，远高于人类打分

这位90后学霸，即将任教麻省理工南京大学「自然指数」超越清华北大，位列全国高校第一、世界第七，突显学术实力【微软】AI-神经网络基本原理简明教程