Google联合OpenAI揭秘神经网络黑箱：AI的智慧，都藏在激活地图里
https://www.toutiao.com/a6665887885922664964/
神经网络内部，究竟藏着什么？
这是无数机器学习研究者内心的终极疑问。
现在，Google和OpenAI的一场合作，以图像分类神经网络为例，我们揭开了神经网络黑箱的一角。
他们说，图像分类神经网络里面长这样：
这不是狗头，是一系列激活地图（Activation Atlas）中的一张，通俗的说，就是神经网络在学习图像分类之后，在内心把所有学过的物品画了一幅思维地图，把长得像的东西放在了一起，以此作为依据，判断之后所有的它看到的图片是什么。
这个惊人的发现，让许多人振奋：
“恭喜OpenAI，太有趣了！”
“做的真好，他们每次都能推出厉害的项目，解答我心中的疑问。”
“这是全新的概念啊！”
“虽然没看懂，但是好酷啊！”
机器学习的字母表
激活地图可以帮助我们了解神经网络在给一张图片进行图像分类时“看”到了什么，有层次的展示出神经网络中的具体内容。
重点是，这种展示方式我们人类也可以理解，类似于机器学习的“字母表”，由简单的元素，像原子一样重组出复杂的图像。
△ 教神经网络识物，是不是跟带娃差不多
示例中的激活地图是根据在ImageNet数据集上训练的卷积图像分类网络Inceptionv1构建的。
网络总共10层，每层有数百个神经元节点，就好像一栋一共10层的楼，每层都有数百个房间，每个房间里都住着一个神经元节点。
每个神经元节点都有自己的“喜好”，不同的神经元节点在不同类型的图像上的激活程度不同。比如一层中的一个神经元节点喜欢狗，对狗耳朵的图像有积极的反应；另一层的另一个神经元节点是个猫奴，对猫爪的图像有积极的反应。
△ 神经元节点：我要这个，给我买这个
把它们“喜欢”的图像列出来，根据每个神经元节点的“房间号”分布，画在“大楼1楼平面图”上，就可以组合在一起，组成单张激活地图，类似我们开头看到的那张像狗头一样的拼图的样子。
△ 神经元节点：我要这个，给我买这个
之后，把“大楼1楼平面图”、“大楼2楼平面图”……“大楼10楼平面图”集合在一起，就成为了激活地图。
下面就是其中两层的例子：
△ 激活地图第六层MIXED4D
△ 激活地图第七层MIXED4E
窥探神经网络内心世界
仔细看就能发现，每一层里类似的颜色都在临近的位置，甚至不同层的“楼上楼下”都看起来很相似。
因为神经网络是个强迫症，为了方便自己学习记忆，它把有类似喜好的神经元节点都安排在了相近的房间里，强迫他们当邻居。
所以，现在让我们走到大楼的不同区域，参观一下神经元节点们的“兴趣小组”吧~
每个方块图像，都是一个神经元节点喜欢的图片种类。“狗头图”的“左耳”上，是各种各样动物的脸：
“额头”的部位，则是各种水果的图像：
“嘴巴”的部位，全是水，各种小水坑小池塘：
“右脸”边缘处，就都是一些房子了。
所有的小图，图像挨着图像，形成渐变，进而联结在一起，构成神经网络对图片分类的认知体系。
就像这样，泰迪渐变成二哈，变成北极熊，变成狐狸：
鸵鸟也可以渐变成各种不同的鸟类：
利用激活地图调戏神经网络
最后，你知道了在神经网络的大楼里，哪些不同的物体是邻居，也就知道神经网络会把这些东西弄混。
看下面的激活地图，左边更像灰鲸，右边更像大白鲨。
现在，拿一张灰鲸的照片，神经网络可以认出来这是灰鲸。
你在图片一角放一张棒球的照片，棒球的红色缝线让神经网络觉得这不是灰鲸，就朝激活图右侧偏离了一下，认为这是大白鲨。
现在，明白神经网络为什么会认错东西了吧？
传送门
Demo可玩，有高清大图，能把神经网络翻个底朝天
https://distill.pub/2019/activation-atlas/app.html
Google博客
https://ai.googleblog.com/2019/03/exploring-neural-networks.html
OpenAI博客
https://blog.openai.com/introducing-activation-atlases/
论文
https://distill.pub/2019/activation-atlas/
GitHub
https://github.com/tensorflow/lucid#activation-atlas-notebooks
— 完 —
Google联合OpenAI揭秘神经网络黑箱：AI的智慧，都藏在激活地图里相关推荐
- 本周AI热点回顾：Github私有库无限协作、飞腾适配百度昆仑AI处理器、OpenAI发布神经网络可视化库
01 Github私有库无限协作,大 AI 模型随便放 4月14日,GitHub 的 CEO Nat Friedman 在官网上发布声明说, "我们很高兴宣布,我们将为所有 GitHub 用 ...
- 再次加入OpenAI，特斯拉前AI总监Andrej Karpathy刚刚官宣！
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达 点击进入->CV微信技术交流群 转载自:机器之心 官宣回归OpenAI,特斯拉前AI高级总监Andre ...
- 在ARM M4上运行神经网络，AI芯片公司Kneron获新一轮融资，阿里巴巴创业者基金领投
origin:http://36kr.com/p/5102480.html 这个赛道上每一家初创公司的背后都站着不少巨头 36氪获悉,AI芯片公司Kneron完成超过千万美元的A轮融资,由阿里创业者基 ...
- Jeff Dean亲自揭秘谷歌下一代AI架构：通用、稀疏且高效，网友不买帐：毫无新意...
来源:机器之心本文约2500字,建议阅读5分钟 Jeff Dean 亲自撰文介绍他眼中的下一代 AI 架构 Pathways. 对谷歌的下一代 AI 架构,你怎么看? 在这波 AI 浪潮中,人工智能技 ...
- Jeff Dean亲自揭秘谷歌下一代AI架构：通用、稀疏且高效
来源:机器之心 对谷歌的下一代 AI 架构,你怎么看? 在这波 AI 浪潮中,人工智能技术经过十几年的爆发式发展,已经在各个领域有着极为广泛的应用,如医疗.科学研究.汽车等. 但是随着技术发展的缓慢, ...
- GTC2018八大热点：发布多项黑科技，联合芯片巨头ARM打造AI芯片专用IP
来源:人工智能和大数据丨公众号 一年一度的GTC至今已经迎来了第十个年头,虽然它每年或多或少的给网友一些"失望",但它也终究是代表着GPU行业的高水平技术大会.那么,今年的GTC大 ...
- 2022年薪百万赛道：高性能神经网络与AI芯片应用
随着大数据的发展,计算机芯片算力的提升,人工智能近两年迎来了新一轮的爆发.而人工智能实现超级算力的核心就是AI芯片.AI芯片也被称为人工智能加速器,即专门用于处理人工智能应用中的大量计算任务的模块. ...
- 【75位联合作者Nature重磅】AI药神：机器学习模型有望提前五年预测白血病！
[新智元导读]来自全球多家科研机构的75位科学家在<自然>发表了一项重磅研究:使用血液检测和机器学习技术,可以预测健康个体是否有患急性骨髓性白血病(AML)的风险.这项研究意味着我们可以提 ...
- Google大调整：搜索与AI分家独立，原SVP引退，Jeff Dean终掌大权
问耕 发自 凹非寺 量子位 出品 | 公众号 QbitAI Google正在经历一次大调整. 刚刚,这家公司对外证实,Google最重要的部门分家了:搜索和AI两个业务将再次各自独立,而不是继续捆绑在 ...
最新文章
- 面试：Java 到底是值传递还是引用传递？
- map赋值给另一个map_Java学习(十六): Lambda操作Map
- Shape Drawable
- 检查邮箱是否包含教育后缀.edu结尾的邮箱
- MySQL 系统架构 说明
- python属性访问权限_python 面向对象-访问权限修饰符
- 编码gbk的不可映射字符_Python基础：编码表和字符的故事
- Java 用HTTP的方式发送JSON报文请求
- headerutf php_php header设置编码的方法
- 零基础学SQL（三、MYSQL环境变量配置及启动）
- Java - Log
- 分布式 - 谈谈你对分布式的理解，为什么引入分布式？
- Jetson Nano开发深度学习实践（六） ：工作站（主机）装机-NVIDIA显卡驱动,Cuda,Cudnn
- 当你想吃夜宵的时候你会到谁
- Scrapy学习——爬取智联招聘网站案例
- java 写一个HelloJavaWorld你好世界输出到操作系统文件Hello.txt文件中
- Java中的 if条件语句
- linux配置网卡绑定后不生效,Linux双网卡绑定实现负载均衡和失效保护
- java utf8 简繁转换 类库_JAVA简繁转换(对象)解决办法
- 2022年最新网络与数据安全法规政策、国标、报告合集（141份）