Hinton:胶囊网络的专利是我的了!
作者 | 陈大鑫
昨日,Reddit上有热心网友发现深度学习之父、图灵奖得主Hinton等人为胶囊(神经)网络申请了专利,该专利于2017年12月15日提交,于今年9月10日在网上发布,目前还未正式生效,但是相信这只是时间问题。
LSTM 之父Jürgen Schmidhuber一直在怼三巨头说他们不是深度学习真正的发明人,不管事情真相如何,但是这次,Hinton可以自信地说:胶囊网络的专利是我的了!
从上面专利图示可以看出,第一发明人即是Hinton本人,其他两位发明人也均是胶囊网络最初发表在NIPS 2017上论文的共同作者:
接下来首先简单了解一下这项专利及其胶囊网络。
1
专利&胶囊网络
专利摘要:
本专利适用于为接收网络输入以及进行网络输出用到胶囊网络的神经网络方法、系统、设备,包括在计算机存储介质上编码的计算机程序。
这里说的的程序具体涵盖多大范围呢?
在专利[0112]一段有详细说明:这里的计算机程序指的是只要是任何形式任何语言,能被程序、软件、软件应用、APP、软件模块、脚本、代码等等描述出来的........
接着说网络,以上所述的神经网络包括顺序排列的多个网络层、包括多个胶囊网络层被配置为接收各个输入和输出:
1、由序列中特定胶囊网络层之前的先前胶囊网络层的胶囊生成的输出:
2、 在前一胶囊网络层的胶囊层和特定胶囊层之间的最终路由因子(routing factors),其中最终路由因子由路由子系统生成。
特定胶囊层中的每个特定胶囊被配置为基于所接收的输入确定特定胶囊输出,其中所述的特定胶囊网络层输出的尺寸大于1:
完整专利图示:
胶囊网络简述
Hinton在2017年提出了CapsNet,其设想启发自脑皮层微柱结构,旨在解决CNN的信息丢失问题。
平移对称性原本是CNN的优点,但CNN将其泛化到了物体本身,从而导致不保持相对位置的元素组合也能被识别为同一物体。
如下图所示,左边和右边都能被CNN识别为一张人脸。池化操作也会导致信息丢失,Hinton曾经说过,“卷积神经网络中使用的池化操作是一个很大的错误,它运行良好的事实是一场灾难” 。
CapsNet可以保留图像的所有信息,不仅包括位置,还有姿势、纹理等等,其中动态路由算法可以让网络的低层和高层之间更好地传递信息,保留图像局部和全局之间的关系,从而克服上图中的问题。
胶囊网络(CapsNet)包含一个编码器和一个解码器。
编码器架构:
解码器架构:
此外,添加重构分支也使得CapsNet更加鲁棒,CapsNet在MNIST上获得了很好的表现:
CapsNet内部的动态路由算法:
CapsNet的计算量更大,在MNIST上的表现更好,但是在较大的数据集比如CIFAR-10上表现明显差于CNN。
更多有关胶囊网络的介绍,请移步“Hinton AAAI2020 演讲:这次终于把胶囊网络做对了”一文。
2
AI专利回顾
谷歌AI专利
同样是Hinton,在2019年6月的时候,Hinton所在的谷歌公司为Hinton在2012 年提出的对防止过拟合有很好的效果的Dropout算法申请了专利且已经生效。
在Google Patents上Dropout专利详情页面中我们可以看到Dropout技术目前的专利权受让人(Current Assignee,即专利所有权人)归谷歌所有:
2020年6月,谷歌又申请了一项AI算法专利:《Using embedding functions with a deep network》,这一次的主要大牛是Jeffrey Dean。
Hinton本人专利
其实从网站patents.justia.com上可以看到,Hinton本人共申请了24项AI算法专利,大部分的专利受让人都是谷歌,以下是最近的两个专利,第一个便是胶囊网络:
DeepMind公布的AI专利
以下列举一些DeepMind申请过的包含RNN在内的专利,自 2016 年 9 月至 12 月期间几乎每周都有 1 份申请:
Generating Audio using neural networks
Processing sequences using convolutional neural networks
Generating video frames using neural networks
Neural networks for selecting actions to be performed by a robotic agent"
Processing text sequences using neural networks
Training action selection using neural networks
Reinforcement learning systems
Scene understanding and generation using neural networks
Recurrent neural networks
Sequence transduction neural networks
Reinforcement learning with auxiliary tasks
Environment navigation using reinforcement learning
以上数据来源:
https://ipkitten.blogspot.com/2018/06/deepmind-first-major-ai-patent-filings.html
3
专利相关讨论
在Reddit上,有网友质疑:
AI算法背后不就是一些数学公式吗,这也能被申请专利?
图注:胶囊网络所涉及的数学公式
而随即就有网友回复到:
一切科学和工程背后都是数学,照你这样说,大家都不用申专利了......
仔细回想一下,如果微积分也能申请专利且没有年限,那牛顿和莱布尼茨的棺材板可就真的压不住了,这俩人不得富到天上去~
害!要是真这样算起来,那发明阿拉伯数字的古印度人、二维码的发明人、互联网的发明人等等岂不是血亏......
那有靠算法专利赚到钱的吗?
谷歌的PageRank算法就是最好的例子,当然,这项专利只是铺垫,一家公司的成功涉及到的方面非常复杂,不是说单单只靠算法专利就能赚到大钱的。
2019年7 月 10 日,Google AI 负责人Jeff Dean,以及谷歌几位研究人员在日本东京有一次分享会。
在分享会现场,Jeff Dean 亲自为谷歌为多个AI算法申请专利的情况首次进行了说明,他表示:
这些AI算法的专利是防御性质的,主要是为了防止谷歌研究人员的成果被他人申请专利后进行碰瓷,这样做是为了避免产生经济损失。
Jeff Dean 明确表示:
谷歌不会利用这些专利进行盈利,也不会使用AI算法的专利来攻击别的公司。
这不禁让人想起了谷歌众所周知的不作恶原则:
令人遗憾的是,在18年的时候,谷歌因与五角大楼开展了军事合作:
谷歌员工抗议成不愿成为“杀人武器”,谷歌不作恶的原则在随后也被废除。
所以说,谷歌不会用AI算法专利进行盈利的保证也不可一直当真,毕竟商业的本质,你懂得......
最后,AI科技评论曾在今年一月份报道过“谷歌获批GAN专利,一整套对抗训练网络被收入囊中”,其中,专利发明人有“花书”作者、GAN发明人(存疑)Ian J. Goodfellow,Szegedy, Christian,谷歌同样作为受让人拥有专利权。
南京大学人工智能学院院长周志华教授曾对此评论道:
此类算法模型工作在国内基本申请不到专利,通常被判为“智力活动不属于专利保护范围”,需要包装成一个“具体装置”才能通过,然而一旦具体到某个装置上,其保护范围呵呵。。。我国的专利审批应该跟美国对等起来,否则将来吃大亏。
重磅!DLer-计算机视觉交流2群已成立!
大家好,这是DLer-计算机视觉微信交流2群!首先非常感谢大家的支持和鼓励,我们的计算机视觉交流群正在不断扩大人员规模!希望以后能提供更多的资源福利给到大家!欢迎各位Cver加入DLer-计算机视觉微信交流大家庭 。
本群旨在学习交流图像分类、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。希望能给大家提供一个更精准的研讨交流平台!!!
进群请备注:研究方向+学校/公司+昵称(如图像分类+上交+小明)
???? 长按识别添加,即可进群!
Hinton:胶囊网络的专利是我的了!相关推荐
- Hinton:胶囊网络的专利是我的了
2020-09-24 04:21:08 作者 | 陈大鑫 昨日,Reddit上有热心网友发现深度学习之父.图灵奖得主Hinton等人为胶囊(神经)网络申请了专利,该专利于2017年12月15日提交,于 ...
- Hinton再挖新坑:改进胶囊网络,融合Transformer神经场等研究
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达 晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 你还记 ...
- 多任务上实现SOTA,UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达 作者丨杜伟.小舟 来源丨机器之心 这是一种为 3D 点云提出的无监督胶囊架构,并且在 3D 点云重构. ...
- UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络,多任务上实现SOTA | AI日报...
多任务上实现SOTA,UBC.谷歌联合Hinton等提出3D点云的无监督胶囊网络 理解对象是计算机视觉的核心问题之一.传统方法而言,理解对象任务可以依赖于大型带注释的数据集,而无监督方法已经消除了对标 ...
- Hinton 发表新作探索流体胶囊网络 | AI日报
为了方便大家及时了解国内外AI领域的重要事件.科研进展.相关讨论等,我们智源社区推出了<AI日报>系列,以飨诸位. AAAI 2021放榜,共有1692篇论文被接收,录取率21% 昨日,人 ...
- Hinton的胶囊网络不太行?CVPR Oral论文:不比卷积网络更「强」
来源:机器学习研究组订阅 在一篇 CVPR 2021 Oral 论文中,来自慕尼黑大学.微软亚研的研究者对胶囊网络和卷积网络进行了全面的对比.一系列实验表明,一些被认为对胶囊网络(CapsNet)至关 ...
- 胶囊网络升级新版本,推特2000+赞,图灵奖得主Hinton都说好
鱼羊 发自 凹非寺 量子位 报道 | 公众号 QbitAI 胶囊网络曾被认为是下一代深度学习的基石. 图灵奖得主Geoffrey Hinton在2017年提出了这种全新的深度学习方法,以期挑战CNN ...
- UBC、谷歌联合Hinton等提出3D点云的无监督胶囊网络,多任务上实现SOTA
本文转载自机器之心. 机器之心报道 作者:杜伟.小舟 这是一种为 3D 点云提出的无监督胶囊架构,并且在 3D 点云重构.配准和无监督分类方面优于 SOTA 方法. 理解对象是计算机视觉的核心问题之一 ...
- 胶囊网络显神威:Google AI和Hinton团队检测到针对图像分类器的对抗攻击
点击我爱计算机视觉标星,更快获取CVML新技术 本文转载自新智元. 新智元报道 来源:VB 编辑:范媛媛,元子 [新智元导读]对抗攻击正越来越多地被有"防御意识"的新攻击打 ...
最新文章
- python3 处理 html转义字符
- Nginx —— 用HTTP proxy module配置一个反向代理服务器
- Docker Compose部署项目到容器-基于Tomcat和mysql的项目yml配置文件代码
- 挂隐藏链接的4种代码
- OpenGL生成的法线贴图并增加光照
- 将一组数进行排序后,也输出他与之对应的序号
- mysql ndb 关闭_Mysql NDB 常见问题
- mysql语句怎么记_mysql语句记录
- 微课|中学生可以这样学Python(例8.21):选择法排序
- 【linux】常用命令总结
- Curator Zookeeper分布式锁
- 是否要允许堵车“加塞”的帕累托最优、纳什均衡分析
- 拉钩教育大前端课程学习-半年总结
- Qt开发——图片缩放简述
- Android音频子系统(十二)------抖音直播功耗问题解析
- 使用笔记:AWTK中文键盘按键字体加大
- bmob项目php后端,bmob开发文档-Bmob移动后端云服务平台
- flink ui含义图解
- HTTP Status 404(The requested resource is not available)(转)
- ADNI挑选有意义的数据进行下载 【2】
热门文章
- .Net 转战 Android 4.4 日常笔记(7)--apk的打包与反编译
- 软考下午题详解---uml图
- 【143】360云盘资源
- 使用VS 自带的打包工具,制作winform安装项目
- 知乎网解决HTML5 Placeholder的方案
- 被快乐×××的许晴-----平淡的生活中寻找快乐
- Linux下的QQ截图
- mf模型 svd++_算法小板报(六)——初探MF(矩阵分解)和FM模型
- webpack打包路径更改_扫盲: Webpack 从扫盲到手撸(上)
- 类脑芯片即将全球首发-打破冯诺依曼体系