人工智能应用需要高可信性（180806）
https://blog.csdn.net/cf2SudS8x8F0v/article/details/81463702
来源：科学网
摘要：近日，“Rekognition”却闹了一个大乌龙：28名美国国会议员被它识别成了罪犯。
小编搞了大半辈子测试和容错，对这方面消息比较敏感。最近看到新闻，商业巨头亚马逊2016年推出图像识别AI系统“Rekognition”，还积极向美国警方推销以帮助其办案。不过近日，“Rekognition”却闹了一个大乌龙：28名美国国会议员被它识别成了罪犯。
这一错误也让发起这项测试、反对警方使用“Rekognition”的美国公民自由联盟（ACLU）抓到把柄，他们表示，测试结果引起了民众对警方使用该系统的严重担忧。7月26日，ACLU在其网站披露：该组织对“Rekognition”进行了测试，结果系统错误地将28名国会议员识别为曾因犯罪而被捕的人员。
所以，人工智能应用被吹得热热闹闹，场景令人振奋，但是，真要付诸应用，人们对这些系统信任度存在疑问，可能产生严重后果。怎么能提供这些系统的高可信性呢？这就要深入到每一个具体系统，进行科学分析。本月IEEE Spectrum 2018/8发表一篇文章，“MAKING MEDICAL AI TRUSTWORTHY”,很有参考价值。
医药工业领域是人工智能系统应用的理想之地。医学检验、医生的面谈和过程被成文为患者病历，存为电子格式。AI系统可以摘要这些数据，从而决定较好和性价比较高的治疗方案。现在许多研究都在建造这种系统，许多文章描述关于分析纪录、扫描图像、产生患者健康的诊断和预言。譬如下图所示一个低分辨率的反映心脏跳动的心动图，用AI程序分离，取出最相关的部分，然后用解剖学的理解去进行诊断。
这类文章很多，但是，这些系统很少能进入医院里实际应用。
为什么会这样？匹兹堡大学的医学研究专家和物理学家Shinjini Kundu说：问题在于信任方面，你有可行的技术，但你怎么能得到人们的信任而使用之？
许多医用AI系统是个黑盒子，输入数据，得出答案。医生们搞不懂它为什么要这么处理。所以，Kunda研究AI对医学图像的分析与解释。她从对医学图像，譬如核磁共振图像，机器学习开始，从而发现医生感兴趣的模式。
Kunda最近用AI分析膝盖核磁共振图像（MRI），分析三年内会发展为骨关节炎的可能性。她用“生长模型化”技术，用AI产生一个新图像，一个保证会发病的图像。Kunda解释说，他们开发了一个黑盒子分类器，去产生一个图像，显示支持其诊断的模式。
人眼无法根据下图的MRI图像判断患者三年内是否会得关节炎，譬如上左图不会，但上右图就会得关节炎。而AI程序进行统计分析可以得出几倍方差范围内得这种病的概率。
AI产生的图像基于MRI扫描软骨的微妙变化，这些变化可能是医生们没有注意到的。这帮助人们去理解过去治关节炎的过程为什么没注意到。
旧金山加州大学助理教授、心脏病专家Rima Arnaout训练一个神经网络去分类超声波心电图，在分辨微小而低分辨率图像方面比心脏病专家精确多了。下一步将用该图像信息去识别解剖结构和诊断心脏疾病和缺陷。
但是，Arnaout说：“我不会去做自己无法信服的诊断。”她用两个技术去搞懂她的分类器是怎么做出决定的。在封闭试验中，他考察测试图像的部分变化如何改变AI的回答；用显著图，她跟踪神经网络的最后回答返回到原图，去发现什么像素权重最高。这两技术说明图像的那些部分对AI做出结论最重要，正和专家看重的结构相重合。
微软一位骨干研究人员Rich Caruana十年来一直致力于一项研究，就是让机器学习模型不但是智能的，而且是可以理解的。他用AI拿医院的电子病历去预计患者的结果。他发现即使是高度精确的模型也隐藏着严重的缺陷。他引用他对肺癌患者的数据集，训练机器学习模型去区分该入院的高危患者和可在家恢复的低危患者。该模型发现有心脏病的人较少死于肺炎，可以安心地算作低危人群。他解释说，诊断有肺炎的心脏病患者其所以结局较好，不是因为他们低危险，而是如果他们的呼吸困难早就进了急诊，从而得到治疗。模型发现的这种关联性是正确的。但是，假如我们用这种关联性去干预卫生保健，我们可能伤害甚至杀死某些患者。由于这些麻烦的发现，他正在研究清楚显示变量相关的机器学习模型，让它判断模型不但统计意义上精确，而且医学上可用。
所以，人工智能应用需要应用领域专家的深入分析、严格的测试过程、有效的容错技术，才能保证人工智能应用系统的安全可靠，人们才能放心使用。
中国科学院,计算技术研究所,研究员 闵应骅
人工智能应用需要高可信性（180806）相关推荐
- 人工智能火了 高端人才成了香饽饽
人工智能火了 高端人才成了香饽饽 转播到腾讯微博 腾讯科技[微博]2015年05月03日07:06 分享 微博 空间 微信 新浪微博 邮箱 QQ好友 人人网 开心网 [摘要]谷歌.亚马逊等科技公 ...
- 写给未来的入职为程序员的人工智能专业的高考生的选专业看法
写给未来的入职为程序员的人工智能专业的高考生的选专业看法 2021年的高考马上开始了.家长与考生忙着想如何报考大学专业的事了. 我看到了2021年的高考热门专业出炉了.如下图所示: 回想起当年热门的计 ...
- 北京经开区举办“人工智能为城市高质量发展赋能论坛”
7月28日下午,由北京经济技术开发区工委宣传文化部主办,北京经济技术开发区公共图书馆(北京电子科技职业学院图书馆)承办的"北京经济技术开发区资讯中心大讲堂--人工智能为城市高质量发展赋能论坛 ...
- 人工智能ai应用高管指南_营销商关于AI的完整指南
人工智能ai应用高管指南 If you search "AI is-" into Google, you end up with sayings from brilliant pe ...
- 摇橹船以“硬科技+人工智能”助推高质量发展
12月13日和14日,2021雷克大会暨智能经济年会在线上成功举办,大会得到了专业观众和行业媒体的广泛关注,全网累计数万人次在线观看直播. 本届大会聚焦产业智能化.智能基础设施.智能产业化和机器人产业 ...
- 2020年，人工智能如何走向高质量发展？
国家高新区经过30多年发展,走出了一条具有中国特色的高新技术产业化道路.今年7月发布的<国务院关于促进国家高新技术产业开发区高质量发展的若干意见>,更是将国家高新区未来的建设目标定位为&q ...
- 人工智能图片素材高清,机器人图片卡通 素材
1.做一个人工智能的ppt需要哪些素材 不能理解你的问题.ppt仅仅是一个做幻灯的软件,可以插入图片.动画.音乐.过场等幻灯的功能,还谈不上有人工智能的能力.人工智能需要有更为强大的类似人脑思维的能力 ...
- 人工智能点燃哈尔滨高发展新引擎
智慧公车.智慧消防--谈起年度"小目标",哈尔滨海邻科信息技术有限公司利用射频识别及区域精准定位等核心技术,取得了一系列新探索,并于今年3月入选黑龙江省"专精特新&quo ...
- 人工智能门槛太高？用这个框架轻松入门深度学习！
想学学深度学习,真的就那么难,门槛那么高吗? 先放一张关于深度学习的图. 门外汉觉得我在造终结者,其他程序员觉得我是土豪,我自己也觉得自己要上天.可是实际上,我只是在 import keras 然后 ...
最新文章
- Silverlight 2 相关文章汇总
- 魔兽嘉年华，云信四大码魔与你不见不散
- CABasicAnimation x y z 轴旋转动画
- kie-api_KIE-WB / JBPM控制台Ng –配置
- PHP仿金蝶云ERP进销存V8网络多仓版源码
- 03 掌握C#控制台程序的结构组成 1214
- 命令行解决mysql中文乱码
- 树莓派安装vsftp过程中遇到的坑
- 360路由器v2刷第三方固件_路由器刷固件图文教程，刷机OpenWrt第三方固件，路由器升级固件...
- SQL Server DMVs in Action 学习笔记
- html2canvas 截图丢失部分元素的问题
- Java工程师待遇怎么样？
- android 生成bks_android双向认证(自签名证书) bks的生成方法
- Web前端和后端的异同
- 开发行业职业病之~~“键盘手”“鼠标手”“腱鞘炎”
- 【SpringBoot】12.SpringBoot整合Dubbo+Zookeeper
- vue+videojs视频播放、视频切换、视频断点分段上传
- 常用激活函数及其原理/应用，以及相关的问题
- 大数据面试题集锦-Hadoop面试题(一)
- 联网下载jar包导入本地Maven库