索尼首款 AI 图像传感器，让相机处处更智能

原文来自 The Verge

近日，索尼发布了全球首款集成 AI 的图像传感器—IMX500。IMX500 自带处理性能和内存，不依赖外接硬件即可执行由机器学习驱动的计算机视觉任务。索尼表示，这会是更快，更便宜，更安全的 AI 相机。

索尼的新型图像传感器可能有一天会出现在像这样的相机中

近几年来，AI 广泛触及到了人们生活的方方面面，从智能手机，自动监控，再到汽车自动驾驶，我们不仅可以拍出更好看的照片，而且还能让机器代替我们作出一些判断。但多数的图像 AI 处理过程需要云端的参与，缓慢且不安全；或是需要在设备上搭载额外的处理内核才能满足 AI 的计算需求。集成了 AI 的 IMX500 无疑提供了新的更简化的思路。

从左到右：作为裸芯片的 IMX500 和作为封装产品的 IMX501。

IMX500 适用于商业客户而非消费级硬件

在图像处理器市场上占有巨大份额的索尼必定会大规模推广集成 AI，但初代 AI 图像传感器 IMX500 目前尚未计划用于智能手机及平板电脑等这些消费级产品中。索尼转而将眼光瞄准了零售商和工业用户，在亚马逊的无现金 GO 商店试水。

在亚马逊 GO 商店中，零售商布置了大量 AI 摄像头，记录下来购物的顾客的行踪，并分析识别他们从货架上取下的商品，自动生成账单。亚马逊曾经使用了数百个摄像头，每天经由产生 PB 级的数据，由此带来的巨大开销也减缓了 GO 商店的扩张。而将 AI 芯片置于图像传感器背部集成后，本地设备即可完成对象检测，无需经过云端或是其它处理器，既节省了成本，也保护了隐私。

AI 计算机视觉的许多应用（如Amazon Go）都需要大量昂贵的相机

更好的隐私保护与更快的处理速度

目前最贴近现实的情况是，如果需要通过摄像头检测一个人是否戴了口罩，可以直接利用 IMX500 图像传感器加载相关算法进而得到“是”或“否”的指令反馈。不过考虑到数据量和隐私保护，IMX500 只会对目标进行识别而不采用目前常用的 4K 60 帧视频规格。

AI 图像传感器的另一大应用领域是工业自动化。在工业自动化中，图像传感器能有效避免协作机器人（ co-bots，意为与人类协作工作的机器人）伤害到它们的人类同事。借由集成 AI 图像传感器的快速反应，当协作机器人检测到人类异常地出现，就能够迅速停机并对相关信息进行及时处理。

人工智能摄像头还有助于使设计为与人类并肩工作的机器人安全

索尼表示，集成 AI 的 IMX500 在执行任务时拥有比传统 AI 摄像机快得多的速度，可以在 3.1 毫秒内将标准图像识别算法（ MobileNet V1）应用于单个视频帧。相比之下，Google Clips 相机和大疆 Phantom 4 无人机上使用的英特尔 Movidius 芯片则需要数百毫秒乃至几秒钟的处理时间。

然而 IMX500 最大的瓶颈是处理更复杂的分析任务的能力。目前的图像传感器只能使用基本算法，诸如汽车自动驾驶之类的更复杂及更多样化的任务在未来必定需要更强大的专用 AI 硬件。所以 IMX500 只是作为简单的单应用程序设备使用。

不过这仅是初代的 AI 图像传感器，未来科技的进步必将使其不断进化。目前，将数据发送到计算机设备进行处理的相机似乎已经非常智能，但将来，相机本身也将成为计算机设备，并且比智能更智能。

日前，IMX500 的测试样品已经开始向首批客户发货，价格为 10,000 日元（约 93 美元）起。索尼预计，首批搭载 IMX500 图像传感器的产品将于 2021 年第一季度上市。