如何快速实现直播美颜功能 - 接入美颜SDK详解
1 音视频SDK和直播美颜SDK-使用导读
1.1 AI视觉应用-美颜SDK
实时音视频是 ZEGO 的一款实时音视频互动服务产品,开发者可通过其灵活易用的 API,构建音视频应用。同时,ZEGO 的另一款产品——AI视觉,基于领先的 AI 算法,提供美颜、美体、美妆、贴纸等功能。将二者进行搭配使用,能够轻松实现音视频互动和美颜的结合,基于美颜SDK可以打造实时美颜应用-直播美颜。
音视频与美颜两者搭配使用,可广泛应用于娱乐直播、游戏直播、视频会议等直播美颜场景中。
1.2 实时音视频SDK,直播美颜SDK 概念解释
- ZegoExpress SDK:ZEGO 实时音视频 SDK,提供基础的实时音视频功能,包括直播推拉流、直播连麦等,以下使用 Express SDK 简写表示。
- ZegoEffects SDK:ZEGO AI视觉 美颜SDK,提供多项智能图像渲染和算法能力,包括智能美颜、AR 特效、图像分割等,以下使用 Effects SDK 简写表示。
2 直播美颜SDK示例源码
为方便开发者实现音视频和美颜SDK二者的搭配使用,ZEGO 提供了示例代码,请联系 ZEGO 商务人员获取,获取链接:(https://www.zego.im/cluesCollect);
近期有开发规划的开发者可上即构官网查看,恰逢即构七周年全线音视频产品1折的优惠,也可以联系商务获取RTC产品优惠。
3 集成直播美颜SDK前提条件
- 已在项目中集成 Effects SDK,详情请参考“AI视觉”的 快速开始 - 集成。
- 已获取到 Effects SDK 唯一的鉴权文件,详情请参考“AI视觉”的 快速开始 - 在线鉴权。
- 已在项目中集成 ZEGO Express SDK,实现基本的实时音视频功能,详情请参考 快速开始 - 集成 和 快速开始 - 实现视频通话。
- 已在 ZEGO 控制台 创建项目,并申请有效的 AppID 和 AppSign,详情请参考 控制台 - 项目管理 中的“项目信息”。
4 直播美颜SDK使用步骤
ZEGO Effects SDK 和 Express SDK 搭配使用,对直播视频数据进行实时 AI 视觉处理的原理,如下图:
通过以上流程,具体的直播美颜功能实现步骤,如下图:
- 初始化 ZEGO Effects SDK 和 Express SDK,初始化在时序上没有限制。
- 获取视频原始数据,可通过 Express SDK 的 自定义视频采集 或 自定义视频前处理 两种方式获取。
- 将采集到的视频原始数据,传递给 ZEGO Effects SDK,进行 AI 视觉美颜处理。
- 将处理完的数据传递给 Express SDK,进行推流。如果在推拉流过程中需要调整 AI 视觉美颜效果,可使用 Effects SDK 的相关功能进行实时更改。
- 远端用户通过 Express SDK 拉取处理后的数据进行播放。
4.1 初始化 音视频SDK 和 直播美颜SDK - Effects/Express SDK
对于两个 SDK 的初始化,不做时序上的限制,以下步骤中以“先初始化 Effects SDK,再初始化 Express SDK”为例。
4.1.1 初始化直播美颜SDK Effects SDK
导入 Effects 直播美颜SDK的模型和资源。
在使用 Effects SDK 的 AI 美颜相关功能时,必须先导入 AI 美颜 模型和资源。
// 传入人脸识别模型的绝对路径。人脸检测、大眼、瘦脸功能均须导入 ArrayList<String> aiResources = new ArrayList<>(); aiResources.add("sdcard/xxx/xxxxx/FaceDetectionModel.model"); aiResources.add("sdcard/xxx/xxxxx/SegmentationModel.model");// 传入资源的绝对路径 aiResources.add("sdcard/xxx/xxxxx/CommonResources.bundle"); aiResources.add("sdcard/xxx/xxxxx/PendantResources.bundle"); aiResources.add("sdcard/xxx/xxxxx/FaceWhiteningResources.bundle"); ...// 传入资源或模型的路径列表,必须在 create 之前调用 ZegoEffects.setResources(aiResources);
直播美颜SDK Effects SDK 支持的所有资源和模型请参考“AI视觉”的 快速开始 - 导入资源和模型。
创建 直播美颜 Effects 对象。传入在 3 前提条件 中获取到的鉴权文件,创建 直播美颜 Effects 对象。
// 鉴权内容请以实际获取的文件为准 ZegoEffects effects = ZegoEffects.create("ABCDEFG", getApplication());
初始化 直播美颜 Effects 对象。
调用
initEnv
接口初始化 Effects 对象,需要传入待处理视频图像数据的宽高。以处理 1280 × 720 的视频图像为例:
// 初始化 Effects 对象,传入当前待处理的原始图像宽高,需要在自定义视频前处理回调的onStar里初始化,express 为后面创造的Express引擎对象 express.setCustomVideoProcessHandler(new IZegoCustomVideoProcessHandler() {public void onStart(ZegoPublishChannel channel) {effects.initEnv(720, 1280); //SDK1.4.7后可以不调用此接口,若要调用,请先打开预览再打开摄像头} }
4.1.2 初始化 直播美颜SDK Express SDK
调用 createEngine
接口,初始化 直播美颜SDK Express SDK。
/** 定义 SDK 引擎对象 */
ZegoExpressEngine express;ZegoEngineProfile profile = new ZegoEngineProfile();
/** 请通过官网注册获取,格式为 123456789L */
profile.appID = appID;
/**请通过官网注册获取,格式为:"0123456789012345678901234567890123456789012345678901234567890123"(共64个字符)**/
profile.appSign = appSign;
/** 通用场景接入 */
profile.scenario = ZegoScenario.GENERAL;
/** 设置app的application 对象 */
profile.application = getApplication();
/** 创建引擎 */
express = ZegoExpressEngine.createEngine(profile, null);
4.2 获取音视频原始数据
Express SDK 可通过“自定义视频采集”和“自定义视频前处理”两种方式获取视频原始数据。
“自定义视频前处理”是由 Express SDK 内部采集视频数据,原始视频数据通过回调获取;“自定义视频采集”则是由开发者自行采集视频数据,并提供给 Express SDK。
两种获取方式的区别如下,开发者可根据实际情况按需选择。
获取数据方式 | 视频数据采集方式 | 优势 |
---|---|---|
自定义视频前处理 | SDK 内部采集。 | 极简搭配使用 Express SDK 和 Effects SDK,开发者无需管理设备输入源,仅需对 Express SDK 抛出来的原始数据进行操作,然后传回 Express SDK 即可。 |
自定义视频采集 | 开发者自行采集。 | 在进行多厂家对接时,业务实现更加灵活,同时性能优化的空间更大。 |
方式一:音视频进阶-自定义视频前处理
以获取
GL_TEXTURE_2D
类型的原始视频数据为例。开发者通过调用
enableCustomVideoProcessing
接口,开启自定义视频前处理;开启后,Express SDK 内部会采集视频数据;采集完成后,可以通过onCapturedUnprocessedTextureData
回调接口,获取采集到的视频原始数据。ZegoCustomVideoProcessConfig config = new ZegoCustomVideoProcessConfig(); // 选择 GL_TEXTURE_2D 类型视频帧数据 config.bufferType = ZegoVideoBufferType.GL_TEXTURE_2D;// 开启自定义前处理 express.enableCustomVideoProcessing(true, config, ZegoPublishChannel.MAIN);
具体的原理可参考“实时音视频”的 视频进阶 - 自定义视频前处理。
方式二:自定义视频采集
自定义视频采集,主要依赖开发者自行采集视频数据,具体方式请参考“实时音视频”的 视频进阶 - 自定义视频采集。
4.3 进行 AI 视觉美颜处理
获取到视频原始数据后,把数据传递给 Effects SDK,开始对视频进行 AI 视觉(例如:美颜、美妆、背景分割等)处理。
方式一:音视频进阶-自定义视频前处理
在
onCapturedUnprocessedTextureData
回调中,获取到视频原始数据后,调用 Effects SDK 的相关接口,进行 AI 视觉处理,并将处理后的数据,返回给 Express SDK。// 自定义前处理为示例 // 回调方法获取原始数据 // 回调处理 // Effect初始化反初始化在Express视频前处理开始停止回调里 express.setCustomVideoProcessHandler(new IZegoCustomVideoProcessHandler() {@Overridepublic void onStart(ZegoPublishChannel channel) {effects.initEnv(720, 1280);}@Overridepublic void onStop(ZegoPublishChannel channel) {effects.uninitEnv(); //一定要反初始化,否则会造成内存泄露}// Receive texture from ZegoExpressEngine@Overridepublic void onCapturedUnprocessedTextureData(int textureID, int width, int height, long referenceTimeMillisecond, ZegoPublishChannel channel) {ZegoEffectsVideoFrameParam param = new ZegoEffectsVideoFrameParam();param.format = ZegoEffectsVideoFrameFormat.RGBA32;param.width = width;param.height = height;// Process buffer by ZegoEffectsint processedTextureID = effects.processTexture(textureID, param);// Send processed texture to ZegoExpressEngineexpress.sendCustomVideoProcessedTextureData(processedTextureID, width, height, referenceTimeMillisecond);} }
方式二:音视频进阶-自定义视频采集
在开发者自定义的回调接口中(可参考 视频进阶 - 自定义视频采集 中的 “4.3 向 SDK 发送视频帧数据”),调用 Effects SDK 的相关接口,进行 AI 视觉处理,并将处理后的数据,返回给 Express SDK。
使用直播美颜SDK Effects SDK 实时调整 AI美颜 效果
在推拉流过程中,如果需要调整 AI 视觉的效果,可使用 Effects SDK 进行实时调整。
以“美白”功能为例,开发者可以调用 enableWhiten
接口开启美白功能,并调用 setWhitenParam
接口设置美白的程度。
// 开启美白功能
effects.enableWhiten(true);// 设置美白强度,范围 [0, 100],默认为 50
ZegoEffectsWhitenParam param = new ZegoEffectsWhitenParam();
param.intensity = 100;
effects.setWhitenParam(param);
4.4 推流处理后的数据
经由 直播美颜SDK Effects SDK 处理完成后,将处理后的数据,返回给音视频SDK Express SDK。
音视频SDK Express SDK 调用 startPublishingStream
接口,传入处理后的数据流 streamID,开始推流,发送给云服务器。
/** 开始推流 */
express.startPublishingStream("streamID");
4.5 拉取处理后的直播音视频数据播放
音视频SDK Express SDK 开始推流后,远端用户可以调用 startPlayingStream
接口,传入处理后的数据流 streamID,拉取视频数据,进行播放。
/*** 开始拉流,设置远端拉流渲染视图,视图模式采用 SDK 默认的模式,等比缩放填充整个 View* 如下 play_view 为 UI 界面上的 SurfaceView/TextureView/SurfaceTexture 对象*/
express.startPlayingStream("streamID", new ZegoCanvas(play_view));
至此,开发者就可以完整地实现在推拉流音视频的同时,实时调整 AI 视觉美颜效果。
5 获取更多直播美颜SDK帮助
获取本文直播美颜SDK的开发文档、技术支持,可访问即构文档中心,有任何技术问题可联系我们专业技术支持。
如何快速实现直播美颜功能 - 接入美颜SDK详解相关推荐
- 如何实现在线直播源码的美颜功能——接入美颜SDK
美颜是在线直播源码很重要的一部分功能,为了保证美颜质量并降低开发时间,在线直播源码会接入第三方美颜SDK,实现系统的美颜功能,接下来就介绍一下,在线直播源码是怎么接入美颜SDK的. SDK接入流程 1 ...
- 快速搭建直播平台教程,美颜SDK接入实现多种美颜特效
想要快速搭建直播平台,最快的办法就是使用成品直播源码直接搭建直播平台,而在搭建过程中,美颜功能是必不可少的. 如上图所示,直播平台中使用的美颜主要有四大功能,分别是贴纸.美颜.特效和哈哈镜: 1.贴纸 ...
- 小红书直播功能如何用 小红书app直播功能使用方法【详解】
小红书直播功能如何用 小红书app直播功能使用方法[详解]小红书直播会用到什么工具?一定要收藏这3个!#小红书直播 #小红书运营 #小红书开店 小红书直播常用的三个工具,这里只要是你有实名认证的个人账 ...
- ATS程序功能和使用方法详解
转载自https://blog.zymlinux.net/index.php/archives/374 Apache Traffic Server的程序文件,与传统的服务器系统有大不同,这里我们将会对 ...
- QT快速入门、三点求圆心实现详解
在编程中,会经常用到数学计算,所以C++将常用的数学计算,例如求正余弦等,封装成函数(正是我们在3.2 数学计算中学习到的),我们只需要写入简单的语句就可以执行所需要的功能,这正是函数的意义.在这一章 ...
- 自学计算机键盘基础知识,刘坚强办公学《新手学五笔打字》1-2 功能键区,电脑键盘功能基础知识按键详解...
原标题:刘坚强办公学<新手学五笔打字>1-2 功能键区,电脑键盘功能基础知识按键详解 下面我们来详细认识电脑键盘的各个按键,先从最上面的功能键区开始,一共有16个键(如图1-2-1所示). ...
- android代码查找快捷键是什么,Android Studio搜索功能(查找功能)及快捷键图文详解(示例代码)...
1.在当前窗口查找文本[Ctrl+F] F3 向下查找关键字出现位置 Shift+F3 向上一个关键字出现位置 2.在当前工程内查找文本[Ctrl+Shift+F] 先会弹出一个对话框,直接点击[fi ...
- 认识ps基本功能和代码规范详解
11.19认识ps基本功能和代码规范详解 在学习ps中需基本熟悉ps快捷键,快捷键能大大提高我们工作的效率,节省时间.在我们常用的ps快捷键有 新建图形文件:Ctrl + N 新建图层:Ctrl + ...
- 杂志订阅管理系统c++_电池管理系统BMS功能安全开发流程详解
点击上面 "电动知家"可以订阅哦! BMS功能安全开发流程详解 BMS和ISO26262 - BMS & ISO26262简介 BMS即Battery Management ...
- 微信小程序php后台支付,微信小程序 支付功能实现PHP实例详解
微信小程序 支付功能实现PHP实例详解 前端代码: wx.request({ url: 'https://www.yourhost.com/weixin/WeiActivity/payJoinfee' ...
最新文章
- 索赔cs1.6最新服务器,成功解决CS1.6刷不出服务器
- java web常用权限方式,java web项目的几种权限控制方法
- 【CentOS 7笔记35】,几个特殊符号和一些常用命令#
- springcloud分布式事务_Springcloud 分布式事务集成Naco Seata
- linux做单臂路由实现trunk 使vlan之间通信
- Python 学习笔记之字典(进阶篇)
- 乐安全 支持x86_国产EDA又进一步!芯华章发布全新仿真技术:x86、ARM等架构通吃...
- Maven报错Missing artifact jdk.tools:jdk.tools:jar:1.7--转
- python升级命令出现错误_python - _tkinter.TclError:无法调用“ update”命令:应用程序已被破坏错误 - 堆栈内存溢出...
- 【算法设计与数据结构】为何程序员喜欢将INF设置为0x3f3f3f3f?(转)
- python数据分享人力资源_Python数据分析帮你清晰的了解整理员工们的工作效率和整体满意度...
- talking web android,Talking Web
- java房产源码_基于jsp的房屋交易管理系统-JavaEE实现房屋交易管理系统 - java项目源码...
- Git fetch pull 详解
- 浅论企业文化对企业发展的影响
- Chapter eight Data Structure(数据结构)
- Nod32的内网升级方案
- 在cmd下载清华镜像
- HTML怎么画圆角平行四边形,圆角平行四边形钻搅机的制作方法
- 学会生命倒计时法,就是精彩生活的开始