十三 发自 凹非寺
量子位 报道 | 公众号 QbitAI

全球第一款内置AI的图像传感器问世。

这就是近日来自索尼的重磅消息：

宣布即将发布两款智能视觉传感器——IMX500和IMX501。

它们集成了一个逻辑处理器和存储器，因此每个模组都可以作为一个微型计算机工作。

目前这款传感器已经能够以 1200 万像素捕捉静态图像，支持 4K@60fps 视频拍摄。

IMX500 和 IMX501的出货时间分别为今年4月和6月，税后价格分别为10000日元 (约661元人民币)和20000日元 (约1323元人民币)。

新款传感器具有如下特点：

• 像素芯片和逻辑芯片组成的堆叠式结构，在逻辑芯片上配备了AI图像分析和处理功能的图像传感器。

• 像素芯片获取的信号通过传感器上的AI进行处理，无需高性能处理器或外部存储，可助力边缘AI系统的开发。传感器输出元数据(属于图像数据的语义信息)而不是图像信息，从而减少了数据量并保证了隐私安全。

• 此外，AI能够为广泛应用领域提供多样化的功能，例如高速AI处理下进行实时目标跟踪。也可以根据用户的需求或系统，使用位置重新编写内存，来选择不同的AI模型。

据索尼介绍，新发布的图像传感器，极大地拓宽了AI摄像头的研发空间，将有望广泛应用于零售和工业设备行业，并有助于构建与云端连接的优化系统。

首款内置AI图像传感器主要功能

接下来就是IMX500和IMX501的四大主要功能。

具备AI处理功能的图像传感器

像素芯片是背照式进光的，有效像素约为1230万，可以捕捉广阔视角的图像信息。

除了传统的图像传感器操作电路外，其逻辑芯片还配备了索尼原发的DSP，专门用于AI信号处理，并为AI模型存储。

这种配置无需高性能处理器或外部存储，使其成为边缘AI系统的理想选择。

元数据输出

像素芯片采集的信号通过ISP进行处理，并在逻辑芯片的处理层进行AI运算，将提取的信息作为元数据输出，可以减少需要处理的数据量。

同时，不输出图像信息有助于降低安全风险和保证隐私安全。

除了传统图像传感器捕捉的图像外，用户还可以根据自己的需要和用途选择数据输出格式，包括ISP格式输出图像(YUV/RGB)和ROI特定区域提取图像。

高速AI处理

当使用传统的图像传感器录制视频时，需要发送每一帧的视频数据进行AI处理，导致数据传输量大，难以实时呈现结果。

索尼的新款传感器产品在逻辑芯片上进行ISP处理和高速AI运行(处理MobileNet V1只需3.1毫秒)，在一个视频帧内完成整个过程。这种设计可以在录制视频的同时保证高精度、实时的目标追踪。

可自由选择AI模型

用户可以将自己选择的AI模型写入嵌入式内存中，并根据其需求或系统使用位置，对其进行改写和更新。

例如，当多个搭载新款传感器的摄像头被安装在零售场所时，某个单一类型的摄像头可以在不同的地点、环境、时间或目的下使用：

• 当安装在场所入口时，可用于计算访客人数;

• 当安装在商店的货架上时，可以用来检测库存短缺;

• 当安装在天花板上时，它可以用来绘制商店客流的热力图。

此外，指定相机中的AI模型可以被改写，从一个用于检测热力图的模型，变成一个用于识别消费者行为的模型。

IMX500/IMX501主要参数

最后，奉上IMX500和IMX501的主要参数。

那么，这样的传感器，猜猜谁会最先用上呢？

参考链接：

https://www.sony.net/SonyInfo/News/Press/202005/20-037E/
https://www.anzhuo.cn/news/p_40263

作者系网易新闻·网易号“各有态度”签约作者

— 完 —

如何关注、学习、用好人工智能？

每个工作日，量子位AI内参精选全球科技和研究最新动态，汇总新技术、新产品和新应用，梳理当日最热行业趋势和政策，搜索有价值的论文、教程、研究等。

同时，AI内参群为大家提供了交流和分享的平台，更好地满足大家获取AI资讯、学习AI技术的需求。扫码即可订阅：

了解AI发展现状，抓住行业发展机遇

AI社群 | 与优秀的人交流

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !