Hinton：胶囊网络的专利是我的了
2020-09-24 04:21:08
作者 | 陈大鑫
昨日，Reddit上有热心网友发现深度学习之父、图灵奖得主Hinton等人为胶囊(神经)网络申请了专利，该专利于2017年12月15日提交，于今年9月10日在网上发布，目前还未正式生效，但是相信这只是时间问题。
LSTM 之父Jürgen Schmidhuber一直在怼三巨头说他们不是深度学习真正的发明人，不管事情真相如何，但是这次，Hinton可以自信地说：胶囊网络的专利是我的了！
从上面专利图示可以看出，第一发明人即是Hinton本人，其他两位发明人也均是胶囊网络最初发表在NIPS 2017上论文的共同作者：
接下来首先简单了解一下这项专利及其胶囊网络。
1 专利&胶囊网络
专利摘要:
本专利适用于为接收网络输入以及进行网络输出用到胶囊网络的神经网络方法、系统、设备，包括在计算机存储介质上编码的计算机程序。
这里说的的程序具体涵盖多大范围呢？
在专利[0112]一段有详细说明：这里的计算机程序指的是只要是任何形式任何语言，能被程序、软件、软件应用、APP、软件模块、脚本、代码等等描述出来的........
接着说网络，以上所述的神经网络包括顺序排列的多个网络层、包括多个胶囊网络层被配置为接收各个输入和输出：
1、由序列中特定胶囊网络层之前的先前胶囊网络层的胶囊生成的输出：
2、 在前一胶囊网络层的胶囊层和特定胶囊层之间的最终路由因子（routing factors），其中最终路由因子由路由子系统生成。
特定胶囊层中的每个特定胶囊被配置为基于所接收的输入确定特定胶囊输出，其中所述的特定胶囊网络层输出的尺寸大于1:
完整专利图示：
胶囊网络简述
Hinton在2017年提出了CapsNet，其设想启发自脑皮层微柱结构，旨在解决CNN的信息丢失问题。
平移对称性原本是CNN的优点，但CNN将其泛化到了物体本身，从而导致不保持相对位置的元素组合也能被识别为同一物体。
如下图所示，左边和右边都能被CNN识别为一张人脸。池化操作也会导致信息丢失，Hinton曾经说过，“卷积神经网络中使用的池化操作是一个很大的错误，它运行良好的事实是一场灾难” 。
CapsNet可以保留图像的所有信息，不仅包括位置，还有姿势、纹理等等，其中动态路由算法可以让网络的低层和高层之间更好地传递信息，保留图像局部和全局之间的关系，从而克服上图中的问题。
胶囊网络（CapsNet）包含一个编码器和一个解码器。
编码器架构：
解码器架构：
此外，添加重构分支也使得CapsNet更加鲁棒，CapsNet在MNIST上获得了很好的表现：
CapsNet内部的动态路由算法:
CapsNet的计算量更大，在MNIST上的表现更好，但是在较大的数据集比如CIFAR-10上表现明显差于CNN。
更多有关胶囊网络的介绍，请移步“Hinton AAAI2020 演讲：这次终于把胶囊网络做对了”一文。
2 AI专利回顾
谷歌AI专利
同样是Hinton，在2019年6月的时候，Hinton所在的谷歌公司为Hinton在2012 年提出的对防止过拟合有很好的效果的Dropout算法申请了专利且已经生效。
在Google Patents上Dropout专利详情页面中我们可以看到Dropout技术目前的专利权受让人（Current Assignee，即专利所有权人）归谷歌所有:
2020年6月，谷歌又申请了一项AI算法专利：《Using embedding functions with a deep network》，这一次的主要大牛是Jeffrey Dean。
Hinton本人专利
其实从网站patents.justia.com上可以看到，Hinton本人共申请了24项AI算法专利，大部分的专利受让人都是谷歌，以下是最近的两个专利，第一个便是胶囊网络：
DeepMind公布的AI专利
以下列举一些DeepMind申请过的包含RNN在内的专利，自 2016 年 9 月至 12 月期间几乎每周都有 1 份申请：
Generating Audio using neural networks
Processing sequences using convolutional neural networks
Generating video frames using neural networks
Neural networks for selecting actions to be performed by a robotic agent"
Processing text sequences using neural networks
Training action selection using neural networks
Reinforcement learning systems
Scene understanding and generation using neural networks
Recurrent neural networks
Sequence transduction neural networks
Reinforcement learning with auxiliary tasks
Environment navigation using reinforcement learning
以上数据来源：
https://ipkitten.blogspot.com/2018/06/deepmind-first-major-ai-patent-filings.html
3 专利相关讨论
在Reddit上，有网友质疑：
AI算法背后不就是一些数学公式吗，这也能被申请专利？
图注：胶囊网络所涉及的数学公式
而随即就有网友回复到:
一切科学和工程背后都是数学，照你这样说，大家都不用申专利了......
仔细回想一下，如果微积分也能申请专利且没有年限，那牛顿和莱布尼茨的棺材板可就真的压不住了，这俩人不得富到天上去~
害！要是真这样算起来，那发明阿拉伯数字的古印度人、二维码的发明人、互联网的发明人等等岂不是血亏......
那有靠算法专利赚到钱的吗？
谷歌的PageRank算法就是最好的例子，当然，这项专利只是铺垫，一家公司的成功涉及到的方面非常复杂，不是说单单只靠算法专利就能赚到大钱的。
2019年7 月 10 日，Google AI 负责人Jeff Dean，以及谷歌几位研究人员在日本东京有一次分享会。
在分享会现场，Jeff Dean 亲自为谷歌为多个AI算法申请专利的情况首次进行了说明，他表示：
这些AI算法的专利是防御性质的，主要是为了防止谷歌研究人员的成果被他人申请专利后进行碰瓷，这样做是为了避免产生经济损失。
Jeff Dean 明确表示：
谷歌不会利用这些专利进行盈利，也不会使用AI算法的专利来攻击别的公司。
这不禁让人想起了谷歌众所周知的不作恶原则：
令人遗憾的是，在18年的时候，谷歌因与五角大楼开展了军事合作：
谷歌员工抗议成不愿成为“杀人武器”，谷歌不作恶的原则在随后也被废除。
所以说，谷歌不会用AI算法专利进行盈利的保证也不可一直当真，毕竟商业的本质，你懂得......
最后，AI科技评论曾在今年一月份报道过“谷歌获批GAN专利，一整套对抗训练网络被收入囊中”，其中，专利发明人有“花书”作者、GAN发明人（存疑）Ian J. Goodfellow，Szegedy, Christian，谷歌同样作为受让人拥有专利权。
南京大学人工智能学院院长周志华教授曾对此评论道：
此类算法模型工作在国内基本申请不到专利，通常被判为“智力活动不属于专利保护范围”，需要包装成一个“具体装置”才能通过，然而一旦具体到某个装置上，其保护范围呵呵。。。我国的专利审批应该跟美国对等起来，否则将来吃大亏。
Hinton：胶囊网络的专利是我的了相关推荐
- Hinton：胶囊网络的专利是我的了！
作者 | 陈大鑫 昨日,Reddit上有热心网友发现深度学习之父.图灵奖得主Hinton等人为胶囊(神经)网络申请了专利,该专利于2017年12月15日提交,于今年9月10日在网上发布,目前还未正式生 ...
- Hinton再挖新坑：改进胶囊网络，融合Transformer神经场等研究
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 你还记 ...
- 多任务上实现SOTA，UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨杜伟.小舟 来源丨机器之心 这是一种为 3D 点云提出的无监督胶囊架构,并且在 3D 点云重构. ...
- UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络，多任务上实现SOTA | AI日报...
多任务上实现SOTA,UBC.谷歌联合Hinton等提出3D点云的无监督胶囊网络 理解对象是计算机视觉的核心问题之一.传统方法而言,理解对象任务可以依赖于大型带注释的数据集,而无监督方法已经消除了对标 ...
- Hinton 发表新作探索流体胶囊网络 | AI日报
为了方便大家及时了解国内外AI领域的重要事件.科研进展.相关讨论等,我们智源社区推出了<AI日报>系列,以飨诸位. AAAI 2021放榜,共有1692篇论文被接收,录取率21% 昨日,人 ...
- Hinton的胶囊网络不太行？CVPR Oral论文：不比卷积网络更「强」
来源:机器学习研究组订阅 在一篇 CVPR 2021 Oral 论文中,来自慕尼黑大学.微软亚研的研究者对胶囊网络和卷积网络进行了全面的对比.一系列实验表明,一些被认为对胶囊网络(CapsNet)至关 ...
- 胶囊网络升级新版本，推特2000+赞，图灵奖得主Hinton都说好
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 胶囊网络曾被认为是下一代深度学习的基石. 图灵奖得主Geoffrey Hinton在2017年提出了这种全新的深度学习方法,以期挑战CNN ...
- UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络，多任务上实现SOTA
本文转载自机器之心. 机器之心报道 作者:杜伟.小舟 这是一种为 3D 点云提出的无监督胶囊架构,并且在 3D 点云重构.配准和无监督分类方面优于 SOTA 方法. 理解对象是计算机视觉的核心问题之一 ...
- 胶囊网络显神威：Google AI和Hinton团队检测到针对图像分类器的对抗攻击
点击我爱计算机视觉标星,更快获取CVML新技术 本文转载自新智元. 新智元报道 来源:VB 编辑:范媛媛,元子 [新智元导读]对抗攻击正越来越多地被有"防御意识"的新攻击打 ...
最新文章
- 未来十年，人机交互将是重要的发展
- linux系统结构，文件寻址，文件管理编辑，正则表达式
- mysql 删除重复记录，只保留id字段值最大的记录
- yunyang tensorflow-yolov3 NMS：non maximum suppression 非极大值抑制方法
- 基于LZ77算法的文件解压缩项目缺陷分析
- 32款iOS开发插件和工具介绍[效率]
- java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory 解决方案
- PHP聚微商货源网源码
- 判断两个日期相差的天数
- 学画画要花多少钱_美术生大学四年花费一般在多少 学美术有哪些出路
- c语言中eles后面分号的作用,C语言 if else 语句详细讲解
- Centos开机自动执行shell脚本启动tomcat服务器
- 微信公众号开发教程java_微信公众号开发java框架：wx4j（入门篇）
- 转行做软件测试的原因
- Fibonacci数列Linux程序,使用fork()调用计算Fibonacci数列
- 解决 IE下ajaxfileupload不兼容的问题
- Python如何导入自己编写的py文件(.pyx文件 .pyd文件)
- 基于ROS的qbo机器人
- Java泛型入参的三种通配符使用
- 用计算机求函数公式,计算机函数