堆叠式传感器架构带来先进的视觉功能

Stacked sensor architecture brings advanced vision capabilities

巴黎-巴黎Prophesee公司是神经形态视觉系统的先驱，本周在旧金山举行的国际固态电路会议（ISSCC）上展示了一种与索尼公司（Sony Corp.）联合开发的基于事件的新型视觉传感器。

由ProphereSee的事件驱动技术设计的新传感器是基于Sony为先进的叠层CMOS图像传感器设计的技术。

像素芯片（左）和逻辑芯片

Prophesee声称，对于事件驱动系统，新传感器提供了业界最小的像素大小和业界最高的高动态范围（HDR）性能。这种以大脑为灵感的传感器将使工业机器、机器人和自动驾驶车辆更好地观察和感知环境。

这一合作关系可能预示着一个新时代的到来，在这个时代，人工智能——包括人工智能感知和人工智能处理——可以在非常接近传感器的地方进行，如果不是在传感器本身，即数据产生的地方。

像素芯片（左）和逻辑芯片

潘朵拉盒子

Yole Développement首席分析师皮埃尔•坎布（Pierre Cambou）认为，索尼与索尼的合作相当于“打开潘多拉的盒子”

坎布指出，在Prophesee开发的神经形态相机中，“每个像素，本质上都是一个神经元。”。坎布称芯片堆叠的发展“仍处于早期阶段”，他预测，接下来，神经元、记忆和处理能力都可以堆叠在一起。当前人们对将更多的智能带到“边缘”或“端点”的热情预示着未来有一天，人工智能将在传感器内被感知和处理。

坎布解释说，索尼将能够开发一种“可以在飞行中增强图像”的人工智能集成图像传感器，或者创建一种“直接提供基于事件的感知”的图像传感器。

事实上，已经有人将神经网络应用到“火车到达拉西奥塔”（1896年由卢米埃兄弟拍摄的著名早期电影）中，以填补缺失的像素。这一努力使这部有124年历史的电影重获新生，并将其升级到每秒60帧的4K视频。坎布将这种升级的视频描述为互联网上的风靡一时，他解释说，人工智能的力量已经在成像领域得到了很好的证明。

人工智能的仿生方法是von Neumann计算的另一种选择。坎布说：“随着人工智能越来越普及，它的重要性将增加。”。

Building blocks for stacked event-based vision sensor

在新设计的事件驱动传感器中，像素芯片（顶部）和逻辑芯片（底部）堆叠在一起。该逻辑包含信号处理电路，设计用于检测基于异步增量调制方法的亮度变化。

两个独立芯片的每个像素以堆叠配置使用铜-铜连接进行电连接。

这使得新的传感器可以达到业界最小的（4.86μm）像素大小。它还提供了1/2类型，1280×720高清分辨率，实现了高密度集成和精细的40nm逻辑处理。

新事件驱动传感器的另一个特点是它能够提供Prophesee声称的业界最高的HDR性能：124dB（或更高）。研究小组通过在像素芯片（顶部）上只放置背光像素和N型MOS晶体管的一部分来实现这一点。根据ProphereSee的说法，这使得光圈比提高了77%。索尼多年来为CMOS图像传感器开发的高灵敏度/低噪声技术使得在弱光条件下（40mlx）的事件检测成为可能。

Division of labor?

分工？

Prophesee首席执行官Verre指出，索尼在合作伙伴关系中的角色并不局限于铸造厂。凭借扎实的知识和自己的基于事件的技术的IP产品组合，Verre说，“我们带着一个清晰的想法来讨论我们想要如何设计像素。”两家公司的合作使得新的事件驱动传感器设计成为可能——从模拟、逻辑和电源——与索尼的先进制造相结合过程。

维尔尔指出，这种关系也不是纯粹的研发活动。其目的是保持一种长期的合作关系，在开发应用程序的同时将技术带到商业市场。

What does this mean to Sony?

这对索尼意味着什么？

世界上有许多CMOS成像传感器的参与者。坎布观察到，索尼将CMOS图像传感器“不再仅仅是成像，而是真正的感知”的预测放在心上，这是坎布长期以来一直在宣扬的福音。

还记得索尼在2015年收购比利时的SoftKinetic，一家3D传感计算机视觉技术的开发商吗？坎布说，这一收购使索尼能够在不断增长的飞行时间（ToF）传感器市场上分得一杯羹，而Android智能手机厂商去年突然开始要求这种传感器。坎布说，试想一下，如果当时索尼没有涉足深度传感技术，会发生什么。

在他看来，与PropheseSee的合作也没什么不同。当汽车和工业机器视觉市场的参与者开始寻找更丰富的传感数据来增强他们的操作时，他们更有可能添加一种新的传感技术，而不是再投入另一个相同的摄像头。

简言之，ProphetSee可能是一家授权索尼进入事件驱动图像传感器市场的公司，正如SoftKinetic使索尼能够开发“深度感知”解决方案并将其推进智能手机。

现在，凭借其DepthSense技术，索尼正在将ToF图像传感器安装到许多Android智能手机上。这为索尼已经在智能手机的前置和后置摄像头中积累了大量的CMOS图像传感器设计。

堆叠式传感器架构带来先进的视觉功能相关推荐

2022最新！视觉SLAM综述（多传感器/姿态估计/动态环境/视觉里程计）
点击上方"3D视觉工坊",选择"星标" 干货第一时间送达作者丨汽车人来源丨自动驾驶之心摘要近年来,基于视觉的传感器在SLAM系统中显示出显著的性能.精 ...
2.阅读笔记Stacked Attention Networks for Image Question Answering(堆叠式注意力网络)
Stacked Attention Networks for Image Question Answering(堆叠式注意力网络) 一,介绍这篇论文提出了一种用于图像问答任务的堆叠式注意力网络SAN ...
传感器融合带来多重好处
传感器融合带来多重好处 Sensor fusion brings multiple benefits ADAS(特别是与汽车传感器的发展趋势相吻合的汽车自动驾驶系统).这个概念本身并不新鲜:在Goog ...
堆叠式降噪自动编码器（SDA）
1.1 自动编码器(AutoEncoder,AE) 自动编码器(AutoEncoder,AE)就是一种尽可能复现输入信号的神经网络,其输出向量与输入向量同维,常按照输入向量的某种形式,通过隐层学习一个 ...
芯片集成 FMCW 激光雷达传感器提供连贯的 3D 视觉
SiLC Technologies 推出了据称是首款商用芯片集成 FMCW 激光雷达传感器,可提供相干 3D 视觉.其新型 Eyeonic 视觉传感器是一种紧凑型视觉传感器,可提供准确的瞬时深度.速度 ...
网页设计趋势：方格堆叠式排版
转载自: 英文:designshack 作者:CARRIE COUSINS 译者:enqoo 链接:http://www.ui.cn/detail/125197.html 现在你随便打开一个网站,似乎 ...
8.QML Qt Quick Controls 2中常用的界面形式——堆叠式界面（StackView）
堆叠式界面的实现的核心组件就是StackView.StackView是一个基于栈的导航浏览模型,可以与一组关联的页面一起使用.当用户浏览深层页面时,深层页面被推到栈顶,当用户选择返回时,之前浏览的页面 ...
PostgreSQL 逻辑订阅 - 给业务架构带来了什么希望？
标签 PostgreSQL , 逻辑订阅 , 10.0 , 数据汇聚 , 数据共享 , IDC多活 , 云端线下同步背景逻辑订阅是PostgreSQL 10.0的新特性. 具体的原理,使用方法可以 ...
Bootstrap 堆叠式导航
默认情况下,标签导航和胶囊式导航都是水平排列的.只需再给导航列表额外添加一个 .nav-stacked 类,就可以让导航垂直堆叠排列.如,堆叠式标签导航: <ul class="nav ...

堆叠式传感器架构带来先进的视觉功能

堆叠式传感器架构带来先进的视觉功能相关推荐

最新文章

热门文章