作者：Chia-Kai Liang， Fuhao Shi

翻译：杨洁

审校：包研

Pixel和Pixel XL的高质量录像背后，是Google相机算法团队和传感器算法团队及相关硬件团队的功能努力下完成的。Google工程师在撰文对此进行了解析，LiveVideoStack对本文进行了摘译。点击“阅读原文”访问英文原文链接。

目前智能手机最重要的一个方面就是轻松捕捉和分享视频。基于光学图像稳定（OIS）和电子图像稳定（EIS））的融合稳定视频技术，使用Pixel 2 和Pixel 2 XL智能手机，拍摄的视频比以往更流畅，更清晰。视频融合稳定技术用最少的伪影提供高度稳定的画面，目前Pixel 2在DxO的视频排名中领先（同时也获得了智能手机相机的最高综合评分）。

录像的一个关键原则是保持摄像机的运动平稳。一个稳定的视频是不受干扰，所以，观众可以关注感兴趣的主体。但是，使用智能手机拍摄视频受许多条件的限制，使得拍摄高质量视频成为一个重大挑战：

相机抖动

大多数人手持手机来录制视频-从口袋里拿出手机，录制视频，视频录制后可立即分享。

然而，这意味着你的视频和你的手一样抖动，而且震动很大！此外，如果你是走路或跑步录制时，摄像机的动作可能使视频几乎不能看了。

运动模糊

如果相机或拍摄对象在曝光过程中移动，所拍摄的照片或视频就会显得模糊。特别是在移动设备上，即使我们在连续帧之间稳定运动，实际上每个单独帧中的运动模糊也不容易恢复。由运动模糊引起的一个典型的视频伪影是清晰度不一致性：视频可能在模糊和清晰之间快速交替，即使视频稳定之后，也是非常分散注意力的。

卷帘快门（或果冻效应）

CMOS图像传感器一次收集一行像素或“扫描线（逐行扫描）”，从顶部到底部扫描需要几十毫秒的时间。因此，这段时间内任何运动都可能出现失真。这被称为卷帘快门失真。即使你的手稳定，快速移动时也会出现卷帘快门失真。

聚焦呼吸（呼吸效应）

当视频中有不同距离的物体时，由于物体在前景中“跳跃”，视角可能会发生显着变化。结果，会像下面的视频一样缩小或扩大，专业人士称之为“呼吸”。

一个好的稳定系统应该解决这些所有问题：应该视频看起来清晰，运动平滑，并且校正卷帘快门和聚焦呼吸。

许多专业人员将相机安装在机械稳定器上以完全隔离手部运动。这些设备主动感应并补偿相机的移动，以消除所有不必要的动作。然而，它们通常是昂贵及繁琐的；你不会想每天都带着一个。手机上也有手持万向支架。然而，它们通常比手机本身大，并且需要在开始录制之前，必须把手机放在支架上。你需要做的很迅速，以免有趣的瞬间消失。

光学图像稳定（OIS）是抑制抖动伪影的最知名的方法。通常，在具有OIS的移动照相机模块中，镜头通过多个弹簧悬挂在模块中间，并使用电磁体在其外壳内移动镜头。

镜头模块主动感应并以非常高的速度补偿抖动运动。由于OIS快速响应运动，可以大大抑制抖动模糊。然而，对纠正运动的范围是相当有限的（通常大约为1-2度），这是不够正确的连续视频帧之间的不必要的动作，或者正确的行走过程中过多的运动模糊。

然而，可校正运动的范围相当有限（通常在1-2度左右），这不足以纠正连续视频帧之间的不必要的运动，或者纠正行走过程中过度运动模糊。另外，OIS不能纠正某些类型的运动，如平面旋转。有时它甚至可以引入“果冻”伪影。

电子稳像（EIS）分析像机运动，滤除不需要的部分，并通过变换每帧合成一个新的视频。最终的稳定质量取决于这些阶段的算法设计和实现优化。

一般来说，基于软件的EIS比OIS更灵活，所以它可以纠正更大更多类型的运动。但是，EIS有一些常见的局限性。首先，为了防止合成帧中的未定义区域，它需要减小视场或分辨率。 其次，EIS与OIS或外部稳定器相比，EIS需要计算更多，在手机上资源有限。

制作更好的视频：融合视频稳定性

在视频录制过程中，OIS和EIS同时启用，通过融合视频稳定技术，可解决上面提到的所有问题。我们的解决方案有三个处理阶段，如下面的系统图所示。

第一个处理阶段，运动分析，提取陀螺仪信号，OIS运动及其他属性来精确估计像机运动。 然后，运动滤波阶段，结合机器学习和信号处理来预测人们移动相机的意图。最后，在帧合成阶段，建模并移除卷帘快门和聚焦呼吸失真。

借助视频融合稳定技术，来自Pixel 2的视频具有较少的运动模糊，看起来更自然。该解决方案足以在所有视频模式下运行，例如60fps 或 4K录制。

运动分析

在运动分析阶段，我们使用手机的高速陀螺仪来估计手部运动的旋转分量（滚动，俯仰和偏航）。通过感知200 Hz的运动，每条扫描线都有密集的运动矢量，足以模拟卷帘快门失真。

我们还测量陀螺仪未检测到的镜头运动，包括聚焦调整（z）和OIS高速运动（x和y）。

由于需要很高的时间精度来模拟卷帘快门效应，所以我们仔细优化了系统，以确保CMOS图像传感器，陀螺仪和镜头运动读数之间的时间完美对齐。仅仅几毫秒的错位就会引起明显的抖动效应。

运动滤波

运动滤波阶段从运动分析中获取真实的像机运动，并创建稳定的虚拟摄像机运动。请注意，我们将输入帧推进队列以延缓处理。这使我们能够预测未来的相机运动，利用机器学习来准确地预测用户的意图。前向滤波对于OIS或任何机械稳定器来说是不可行的，这些稳定器只能对之前或现在的运动作出反应。我们将在下面讨论更多。

帧合成

在最后阶段，我们根据真实的和虚拟的相机运动推导出帧变换方法。为了处理卷帘快门失真，我们对每帧多次变换。将输入的帧分成一个网格，分别对每部分进行变换。

前向运动滤波

融合视频稳定的一个关键特征是新的预测滤波算法。它分析未来的运动，以识别用户预期的运动模式，并创建一个平滑的虚拟像机运动。向前滤波有多个阶段，逐步改进每帧的虚拟相机运动。在第一步中，将高斯滤波应用到过去和未来的真实像机运动中，以获得平滑的像机运动。

为了进一步提高质量，我们训练了一个模型，从嘈杂的真实像机运动中提取目标运动。然后，我们根据预测的运动应用附加的过滤器。例如，如果我们预测相机是水平平移的，就会拒绝更多的垂直运动。

实际上，上述过程并不能保证没有未定义的“坏”区域，当虚拟像机过于稳定及变形帧落在原始视场之外时，就会出现这种情况。我们在接下来的几帧中预测这个问题的可能性，并调整虚拟像机的运动得到最终结果。

正如我们前面提到的那样，即使启用了OIS，有时运动也会过大，导致帧内运动模糊，当EIS进一步应用于相机平滑运动时，运动模糊会导致分散清晰度。

这是EIS解决方案中非常普遍的问题。为了解决这个问题，我们利用人类视觉系统中的“掩蔽”特性。运动模糊通常会使帧沿特定方向模糊，如果所有帧沿着这个方向运动，人眼就不会注意到它。相反，我们的大脑自然的将模糊视为运动的一部分，并将其从我们的感知中屏蔽掉。

有了高频陀螺仪和OIS信号，我们可以准确的估计出每一帧的运动模糊。我们可以计算出相机在曝光初始及终止时所指的位置，两者之间的移动就是运动模糊。之后，我们应用机器学习算法（训练一组有运动模糊和没有运动模糊的图像）将过去和未来帧中的运动模糊映射到我们想要保留的真实像机运动的量，同时使用虚拟的相机移动与真实相机移动进行混合加权。随着模糊运动的掩盖，分散清晰度变化大幅下降且相机运动始终保持稳定。

结果

我们已经看到许多很棒的Pixel 2融合视频稳定的视频。 融合视频稳定结合了OIS和EIS的优点，在像机运动平滑和减少运动模糊方面取得了很好的效果，并校正了卷帘快门和聚焦呼吸。借助Pixel 2和Pixel 2 XL上的融合视频稳定功能，您不再需要在录制之前仔细放置手机，在整个录制过程中牢牢抓住手机，或者随身携带万向架。 录制的视频将始终保持稳定，清晰，并可随时分享。

手机录像画质的提升，满足了大众随拍随分享的需求，也促进了短视频的兴起。其实早在四五年前，短视频就已经火起来，为何在历经直播元年后又再度火爆？此前制作短视频的企业又在做什么内容？伴随大逃杀类型游戏的火热，短视频如何与游戏行业相结合？

LiveVideoStack特邀又拍云高级产品经理曾令森走进成都，12月2日与您一同分享《短视频为什么又火起来了》，此外我们还邀请了腾讯、阿里云、声网、即构科技4位大咖讲师一同分享游戏行业音视频技术的玩法，社交游戏、手游、O2O、云导播……更多精彩等你来发现。

现在报名即享5折优惠，VIP还将获得技能图谱以及参与讲师晚宴的机会。