网易智能（smartman163）编译出品

选自| The Verge   译者| Katrina

【网易智能讯2月5日消息】下一部手机的摄像头会有多好？想知道的话，最好留意制造商对人工智能的看法。

除了炒作和吹牛，过去的几年里摄影技术取得了惊人的进步，且进步不会减慢，而最大的飞跃源自人工智能，而非传感器或镜头，这很大程度上要归功于人工智能让摄像头更精准地捕捉景象。

2015年Google Photos发布之际，清楚地展示了人工智能和摄影技术混合后强悍的功能。在此之前，谷歌这家搜索巨头多年来一直使用机器学习对Google+中的图片进行分类，但其现今推出了照片应用程序包括面向消费者的人工智能功能，这是大多数人无法想象的，数千张无标签的照片储存在手机里，杂乱无章的图库一夜之间转换成可搜索的数据库。突然间，或是说看似突然，谷歌知道了你家猫的长相。

谷歌取得的突破基于2013年收购DNN搜索的前期工作，该技术可以建立一个受人类标记数据训练的深度神经网络，称之为监督学习，这个过程包括对网络进行数百万张图像训练，以便它可以通过像素寻找视觉线索，帮助识别分类，随着时间的推移，该算法在识别方面越来越出色，拿熊猫举例，曾用来正确识别熊猫的模式都会被纳入，具体来说，它可以习得黑色皮毛和白色皮毛之间的分布关系，熊猫与荷斯坦奶牛的毛色区别，经过进一步的训练，该算法可以用来检索更抽象的术语，如“动物”或者“早餐”，也许检索出来的并非是常见的视觉图像，但仍可一眼认出图像主体。

训练这样的算法需要耗费大量的时间和处理能力，不过在数据中心完成任务后就可以在低功耗的移动设备上运行，并且不费事，繁重的工作已经完成，因此一旦你的照片上传到云端，谷歌就可以用自己的模型来分析和标记图库，Google Photos发布约一年后，苹果公司宣布了一项在神经网络上接受过类似训练的照片搜索功能，但作为公司对隐私承诺的一部分，实际分类在每个设备的处理器上单独进行，不需要传送数据，而这通常需要一两天时间在设置好的后台进行。

智能照片管理软件是一回儿事，但首先要说的是人工智能和机器学习对图像的捕获方式产生了更大的影响，毫无疑问，镜头会继续变快，传感器也总能变大一点，但涉及将光学系统塞进轻薄的移动设备，我们已经快接近物理限制，尽管如此，现在的手机在某些情况下能拍出比许多专业相机设备更好的照片，这并不罕见，至少在后期处理之前是这样，传统相机无法与同样配备高级摄影的硬件片上系统竞争，其包括一个中央处理器、一个图像信号处理器，以及一个越来越多的神经处理单元（NPU）。

这是计算摄影，一个广义的术语，涵盖方方面面，譬如手机肖像模式的假景深效果，以及有助于提升Google Pixel高清图像质量的算法，并非所有计算摄影都涉及人工智能，但人工智能必定是其中一个重要组成部分。

苹果利用此项技术来驱动其手机的双镜头肖像模式，苹果手机的图像信号处理器依靠机器学习，通过一个摄像头识别人像，另一个摄像头创建深度图以分离拍摄主体和模糊背景，2016年此功能首次亮相时，通过机器学习识别人像的技能并不是什么新鲜事，因为图片处理软件已经在做这个了，但以智能手机摄像头所需的速度实时识别则是一项重大突破。

然而，谷歌默认的拍摄模式HDR+使用了一种更复杂的算法，将几个曝光不足的帧合并为一个，正如谷歌计算摄影负责人马克·勒沃伊（Marc Levoy）所说，机器学习意味着系统只会随着时间越来越好。就像Google Photos，谷歌已经将其人工智能训练在一庞大的标签照片数据集上，进一步辅助相机曝光，尤其是Pixel 2生成的基线图像质量非常好，The Verge网站在专业工作中也会使用到，效果非常满意。

不过谷歌的优势从来没有像几个月前推出夜视系统那样突出，新版Pixel将长曝光缝合在一起，使用机器学习算法计算更精确的白平衡和颜色，坦白说，效果令人惊艳，因为算法的设计以最新的硬件为依托，该功能在Pixel 3上效果最好，不过谷歌为各种Pixel版本的手机都推出了夜视功能，即使是缺乏光学图像稳定性的原始图像也可以处理，这说明了软件在移动摄影领域比相机硬件更重要。

也就是说，硬件仍有进步的空间，特别是在人工智能的支持下，据了解，华为和荣耀的新款手机第一个使用了索尼IMX586图像传感器，这是一个比多数竞争对手都大的传感器，有4800万像素，是目前任何手机上看到的最高分辨率，但这也意味着要在一个很小的空间里塞进许多微小的像素，图像质量往往会成问题。然而，在测试中荣耀的“人工智能超清”模式擅长最大限度地利用分辨率，去除传感器异常的滤镜，呈现额外的细节，这也会产生巨大的照片，放大看需要几日时间。

图像信号处理器在一段时间内对手机相机的性能非常重要，但随着计算摄影技术的发展，NPU可能会发挥更大的作用，华为第一个宣布采取专用人工智能硬件的片上系统Kirin 970，尽管苹果的A11 Bionic最终率先到达了用户端，全球最大的安卓处理器供应商高通公司尚未将机器学习作为主要的焦点，谷歌方面开发了自己的芯片，Pixel Visual Core，帮助完成与人工智能相关的成像任务。

与此同时，最新的苹果A12 Bionic配备8核的神经引擎，在苹果的机器学习框架Core ML中运行任务，比A11快九倍，并且实现首次直接连接到图像处理器。苹果公司表示，这能让相机更好地解析焦平面，例如生成更真实的景深。

由于片上系统对处理器的要求非常高，对于提高设备机器学习的效率和性能而言，它将越来越重要，别忘了，Google Photos的算法是在具有强大GPU和张量计算核心的计算机上训练，然后再放进照片库，可以说大部分工作都可以“提前”完成，不过在移动设备上实时进行机器学习计算的能力仍然是最前沿的科技。

谷歌已经展示了一些可以减轻处理负担的工作，令人印象深刻，神经引擎在这一年里也越来越快。即使是在计算摄影的早期阶段，围绕机器学习而设计的手机摄像头也能带来真正的好处。事实上，过去几年人工智能炒作浪潮带来的所有可能性和应用中，今天运用最实际的领域可以说就是摄影。

相机是任何手机的基本功能，而人工智能是我们改进它的最佳手段。

往期推荐

春晚的撒贝宁是AI虚拟的？这到底是怎么回事！

▲点击图片观看

「三清才子」刘铁岩：用好奇心探求AI边界 

▲点击图片观看

苹果再出"内贼" 又一华裔工程师被控窃取无人驾驶机密

▲点击图片观看

- 加入社群吧 -

网易智能AI社群（AI芯片、医疗AI、金融AI、电商AI、自动驾驶、教育AI、AIoT、机器人等12个社群）火热招募中，对AI感兴趣的小伙伴，添加智能菌微信 kaiwu_club，说明身份即可加入。