弹幕穿人过，视频换背景，快准狠的图像分割技术了解一下

机器学习在图像分割场景中的应用

图像是信息时代最为常见的表现形式，而图像分割是我们日常生活在编辑图像时最常用到的一种功能。它将图像中的元素分离出来进行再创作，使各种艺术作品、视频内容甚至是直播变得生动有趣。

颠覆传统的语义分割方式

我们熟知的传统图像分割方式是，利用专业图像处理软件在电脑端手工裁剪出人物、添加蒙版、替换画布，如果人物边缘细节非常丰富，那么需要耗费巨大的工作量，而且结果往往不如人意。

随着计算机视觉技术的发展，人们开始利用基于神经网络的分割方法自动分割图像中的元素。最开始往往是利用普通分割将不同区域分开，如分割前景与后景，这种方式的图像分割是根据图像颜色纹理进行区域的划分，主要提取了图片中的低级特征，但分割出来的结果没有语义的标注，并不知道分割的物体是什么，因而造成连在一起的两个物体往往会同时分割出来，稍稍复杂的场景结果无法完成分割。

为了更精细化分割，机器学习服务提供了语义分割的方式明确获取物体类别，基于更加明确的语义单元进行深度学习，将图像中不同类别的物体单独分割出来。随着算法、算力的不断加深，我们将图像中的每个像素都进行标签化，可以做到完整、精细地分割出图像中生活中常见的元素。

图像分割丰富的应用场景：从静态图片到动态视频

1、证件照底色轻松换

图像分割的应用场景非常多，比如我们日常经常会用到各种底色和尺寸的证件照，现在有了成熟的图像分割技术，为了节省人力和时间成本，用户就可以选择通过移动端应用的线上制作方式，利用现有的照片素材分离出人像元素，替换背景后生成各种类型、尺寸的证件照片。

生成自然且真实的证件照片对于图像处理技术的处理水平要求很高，需要保留人像的边缘细节，包括头发、衣物，即使在接近背景的情况下也能清晰完整地分割出来，最后在手机端侧处理完成，保证用户隐私信息。

2、分离图像基本元素换背景

另一个场景，应用实现图形图像编辑能力的时候，最常用的就是分离图像中的基本元素，包括人像、美食、宠物，然后重新组合更换背景。

利用图像分割服务，这项工作则变得非常简单，我们可以直接在手机端选择一张图片，图像分割自动地帮我们把人像元素分割出来，我们要做的就是再选择一张新的背景，接下来我们只需要把分割出来的人像放到对应的位置即可。我们可以看到人像的细节依然清晰可见。

3、直播视频快速换背景

在5G时代，大家更喜欢看直播，因此主播希望方便快捷地换有趣或漂亮的背景，吸引用户来观看。机器学习服务提供的图像分割能力，如今可以支持对于视频流的处理，并提供速度优化，完成稳定精细的画质分割。

随着电商直播的爆发式增长，商家直播都会在布景的直播间完成，背景无法替换。借助机器学习提供的精准的图像分割，商家可以根据不同销售品类、不同商业诉求进行数字化实时布景替换与切换。譬如主播介绍家居用品时，可以切换至家居风格背景，介绍海上冲浪用品时，可以随时切换到沙滩与海浪的背景等。

4、弹幕穿人，提升在线长视频体验

同时，针对长视频这类典型的应用，图像分割技术则提供了蒙版弹幕的方式，通过语义分割识别出视频中的主体对象，生成蒙版分发给前端，或者俗称弹幕穿人。这样，经过前端渲染之后达到不遮挡主体对象的效果。针对视频流，我们专门对帧间连续性做了优化，采用前帧候选框提升帧间连续性和边缘精细度，让视频看起来更加稳定自然。

总结一下，HMS Core机器学习服务的图像分割可以轻松将图片中相同元素分割出来，既支持静态图片又支持动态视频的分割。

细节方面，图像分割采用了具有创新意义的语义分割框架，这种框架将图像中的每个像素点都标签化，可以看到即使是发丝细节我们都可以清晰完整的保留。

另外我们提升了对于不同画质、不同尺寸图片的处理能力，针对分割算法常常出现的白边，我们采用了更加结构化学习的训练方式，使边缘更加自然。

目前此项服务完全免费，全安卓机型覆盖，欢迎开发者来测试、开发、使用