WWDC22：ARKit 6低调发布，新功能瞄准VST MR头显

本次WWDC苹果发布四大OS，很多功能确实有意思，macOS与iPadOS上的台前调度，连续互通相机，iOS上锁屏小组件、智能抠图等等，不断再提升使用体验。

时间紧迫，ARKit的内容完全没有在Keynote中提及。尽管如此，未在Keynote亮相的ARKit 6却有着重磅功能：4K分辨率、实时调节相机曝光、白平衡等参数，这对视频透视的AR体验至关重要，基本被看作是瞄准VST MR头显而来。

以下是值得关注的几点：

1，苹果地图

虽然苹果地图支持200多个地区，但全新设计的苹果地图目前仅支持21个国家或地区，它们的特点是提供城市三维体验和类街景内容。增加了诸多的细节，包括3D地标，立交桥等，看上去更立体，信息密度很高。

之前谷歌、Niantic推出VPS视觉定位系统，实际上苹果地图也在推动相关工作，只是支持地区太少。Look Around功能就是如此，它和谷歌街景类似，可以实现步行AR导航（利用VPS）等功能。目前仅限部分城市，其中，城市三维体验与步行导航功能一致，目前支持7个城市，Look Around支持40个国家或城市。

同步还推出MapKit，这对第三方App来说是一个重要契机，可以更好地调用原生地图能力，也有望推动AR应用与地图能力的结合。比如，Bird可以通过新地图查找车辆，在立体感强烈的场景中清晰地标注车辆位置，有助于识别标志建筑和辨别方向。

第三方App借助MapKit可以直接调用Look Around，用户可直接查看高清图像（类似谷歌街景），实现例如查看房屋外景等用途。

2，智能抠图

iOS 15在OCR上提取文字变得非常轻松，现在iOS 16上支持在图片中提取主体，例如上图中的狗狗。

同时，相机文本识别功能现在更强大，支持识别电话快速拨打，识别价格并进行单位转换，语言翻译等。可以预见的是，这些玩法很可能会作为MR/AR头戴设备的基础功能。

3，M芯片的游戏支持

M系列芯片带来了更强劲的性能，除了更好的用于影视媒体工作外，理应用于游戏场景。这次WWDC苹果也演示了Hello Games旗下的《无人深空》，以及找到Capcom，并在Mac上演示了《生化危机8：村庄》。

怎么说呢，一个是扩大Mac自身游戏的扩展，另一个则是为AR/MR内容做预备。虽然《生化危机8：村庄》的VR版为PS VR2独占，但不排除在开发其它内容，甚至也是苹果向头部游戏品牌招揽MR内容开发的例证。

4，ARKit 6

之前我们提到过，最近一两年苹果在ARKit方面进展略微缓慢，除了增加LiDAR等硬件支持外其它新功能很少，一个是移动AR功能整体比较完善，对手竞争平台的体验和功能都处于追赶阶段，另一个就是，按照苹果的设计思路，软件方面新功能大概率需更强大的硬件做支撑。

这一次的ARKit 6的重磅功能就是：支持4K分辨率、HDR录制。

这些功能对于影视编辑、电影制作等行业应用更有价值，对广大用户来说，将AR录制的短片进行日常社交分享也有着不错的效果提升，尤其是HDR视频录制。

这里说的4K分辨率指不是虚拟物体，而是视频背景，也就是AR体验的背景。ARKit 6在AR体验中还可以实时调节相机曝光、白平衡、对焦，这对于沉浸式的AR体验至关重要，比如可以把现实场景调暗等等操作。

可能你已经联想到，传闻中采用VST透视方案的苹果MR头显即将问世，那么4K分辨率支持是一项十分必要的功能，它几乎对应着头显屏幕的物理分辨率规格，也直接影响VST透视的视觉效果。而且AR体验中控制相机的曝光、对焦的玩法，基本上就是瞄准了MR头显而来，比如控制光圈实现抑制或拉高曝光，提高透视画面视觉效果，可避免过暗过亮场景的干扰；通过对焦实现背景模糊模拟，模拟数字的深度信息，在VST AR体验中作用非常明显。

甚至，如果还可以设置不同的焦点切换（这一点暂时没有明确），还能基于此实现引导注意力转移等玩法，对MR游戏的虚实融合类交互帮助很大，想象空间很大。

目前4K分辨率、HDR录制功能仅限于iPhone 11、iPad Pro（第五代）或更新机型。

ARKit 6还改进了运动追踪，现支持识别左右耳朵，优化了姿态检测功能，可以自动估算好拍摄场景中物体的大小，并实现稳定的追踪效果，提高3D物体检测的鲁棒性。

此外，ARKit 6还加入了前摄+后摄融合玩法，可通过前摄捕捉人脸，然后基于后摄拍摄背景，实现一些另类的玩法和交互。

5，RoomPlan

RoomPlan是苹果Swift的一个全新API，该功能依托于ARKit。就如同名字一样，可以进行房间扫描和规划，例如房地产、建筑、室内设计、电子商务、酒店管理等行业，可以通过扫描房屋场景进行3D规划。

RoomPlan功能基于LiDAR硬件，可以导出USD或USDZ格式文件，文件中信息包括：房间中识别到的组件尺寸，家具类型等，并可在C4D、AutoCAD、Shapr3D等进一步编辑。

本质上RoomPlan已经在LiDAR发布时添加支持，当时就展示了Shapr3D的扫描建模能力，现在这项功能正式开放给开发者。