5月,全民K歌上线了视频直播合唱功能。

在深圳工作的小白,可以和远在老家黑龙江的好友实时视频合唱一首抖音热曲《纸短情长》,还邀请共同的朋友进来围观,联络感情。

职业主播瑶瑶,每天固定时间在K歌平台直播唱歌,时间久了发现,虽然不断更新新的曲目,但在线人数还是每天在掉。偶然一次,瑶瑶跟另一个男主播合唱了一首歌,或许是两个主播间相互导流,或是形式新颖,直播在线观看人数又蹭蹭地涨了。

在外地儿子家帮忙带孙子的张阿姨,早晚接送孩子后,闲暇时间在K歌平台开个房,选择一样爱好的歌友合唱一首《心雨》,唱完后顺带唠嗑一下家常。

视频直播合唱,打破了传统唱K时间、空间的限制,实现了和线下KTV房间唱K一样的体验。只要有一部手机或一台电脑,就可以随时、随地想唱就唱。这个功能在全民K歌一上线,平台的日活量明显增加。

另一方面,要实现视频直播合唱功能,在技术上难度非常大,这也是目前K歌和直播平台类鲜少上线这个功能的原因。

视频直播合唱对技术的挑战

和视频通话、视频直播不同,因为音乐独特的节拍属性,视频直播合唱对同步的要求远远高于两者。要实现合唱的同步,主要难点在于解决延迟。身处不同地方的两个或多个主播,要一起实现实时视频直播合唱,只有在延迟极短的前提下,双方才不会唱错拍。

视频直播合唱的延迟主要由三个方面导致,一是网络不稳定,二是采集传输编解码过程,三是用户终端设备的性能。网络天生具有不稳定性,用户终端设备也无法控制,企业只有将采集传输编码的过程中涉及到的硬件、音视频采集、编解码、代码逻辑、推流、网络传输与中转等方面做到极致,才能最大限度地降低网络和用户终端不稳定对延迟的影响。

技术如何满足新需求

为了实现视频直播合唱,做到高保真音频和高清视频的采集和传输,在充分认识网络和用户终端不可控的前提下,即构科技在采集、传输、播放端都下了大量的功夫。在16年视频语音技术的积累下,掌握了超低延时编码以及推拉流技术,有效将延迟降低到300毫秒内,解决了视频直播合唱实现的最大难点。

超低的延迟技术,加上在实时语音通话、实时视频通话、连麦互动直播等大量落地项目的不断检验和修正下,即构科技结合用户需求和场景,推出了两个视频直播合唱解决方案,将视频直播合唱过程中有可能产生延迟的采集、前处理、接收、编解码、后处理等环节逐一击破。

方案一

架构图如下:

方案一中,伴奏+主唱声音合成后传给副唱,伴奏+主唱+副唱的声音合成后,再传给观众。

整个视频和声音在传输过程中,根据此前积累的海量数据建立了评估模型,针对不同的场景,该模型能够自动优化,实现低延迟的同时,保证音频视频的质量和流畅度。整个方案几乎不受网络和用户终端设备影响,声音和视频在传输过程中受损少,获得了相对高的音质,直播间观众体验到的是录音棚的音质效果,以及高清视频体验。

另外,在这个过程中,伴奏、人声、歌词走的是同一条通道,歌词跟着伴奏和人声同步到达,解决了歌词和声音不同步的情况。

方案二

架构图如下:

在方案二中,伴奏同时发送给主唱和副唱,歌手同时在线合唱,再将人声和伴奏同时输送给观众。在这个过程中,主唱和副唱能实时听到对方的声音,最大限度还原线下互动唱K效果,直播间观众体验到的是KTV的效果。

这个方案中,主唱的伴奏和歌词走的是一条通道,人声走是另外一条通道,副唱的伴奏和歌词走的是一条通道,人声走是另外一条通道,在网络不好的情况下,有可能出现延迟的情况,导致伴奏+歌词与人声不同步,最终影响整个直播效果。

选择合适方案 打造视频直播合唱新场景

即构科技推出的两个方案中,方案一获得了高质量的音质和视频效果,歌词、人声、伴奏走的是同一条通道,避免了出现歌词和声音不同步的情况,观众无论在音质还是视频上,都能获得良好的体验。不足是在合唱过程中,仅副唱能听到主唱的声音,而主唱听不到副唱的声音,少了点交互的乐趣。

而在方案二中,主唱和副唱能实时听到对方的声音,大家互动起来更自然。不足是人声走的是一条通道,伴奏和歌词走的是另一条通道,在传输过程中有可能出人声和伴奏不同步的情况。另外方案对网络的依赖性比较高,双方在网络状况良好的情况下,观众才能获得流畅的观看效果。

两个方案都能让主播不受时间、地域限制实现视频直播合唱,观众也可以享受到良好的视听效果。K歌类和直播平台可以根据自身实际需求,选取合适自己的方案,丰富平台的趣味性和娱乐性,以更新颖的方式、更流畅的体验,打造更多的新场景,吸引更多的用户。

关于即构

即构科技于2015年由QQ前总经理林友尧创立,A轮获得IDG投资,核心团队来自腾讯QQ,汇聚了来自YY和华为等厂商的顶尖语音视频人才。即构ZEGO致力于提供全球最清晰最稳定的实时语音视频云服务,助力企业业务创新,改变用户线上沟通方式。即构ZEGO深耕视频直播、视频社交、游戏语音、线上抓娃娃和在线教育等领域,赢得了映客、花椒直播、一直播、喜马拉雅FM、陌陌游戏、自由之战2、和好未来等顶级厂商托付和信赖。

转载于:https://my.oschina.net/u/3747019/blog/1833850

视频直播合唱玩法上线,K歌直播平台迎来新场景相关推荐

  1. 【音视频SDK测评】线上K歌软件开发技术选型

    摘要 在线K歌软件的开发有许多技术难点,需考虑到音频录制和处理.实时音频传输和同步.音频压缩和解压缩.设备兼容性问题等技术难点外,此外,开发者还应关注音乐版权问题,确保开发的应用合规合法. 前言 前面 ...

  2. 全民K歌直播推荐算法实践

    导读:直播是社交娱乐app的综合性变现工具,如何培养用户的心智,高效的建立用户和主播的多种连接 ( 点击.观看.关注.常看.常打赏 ) 是直播生态的重要问题之一.为了解决这个问题,各大平台所使用的方法 ...

  3. 视频号运营玩法;以及视频号引流变现赚钱。丨国仁网络资讯

    视频号内测已经有一段时间了,越来越多的微信用户已成功开通视频号,并开始发布内容.我们在之前推送的内容中介绍了视频号的分类方式,那么视频号该怎么玩呢?今天我们就来分享下视频号的玩法,此内容有点干! 01 ...

  4. 解读:全民K歌直播推荐算法

    重磅推荐专栏: <Transformers自然语言处理系列教程> 手把手带你深入实践Transformers,轻松构建属于自己的NLP智能应用! 1. 业务背景 直播推荐与内容推荐的异同, ...

  5. 微信公众号直播的玩法须知(上)

    前几年微信公众号大火,然而受到短视频和直播平台的冲击后,大不如前,因此腾讯推出了微信公众号+直播的形式.那么微信公众号直播有哪些玩法呢?下面跟欢拓云直播小编来看看. 玩法一:卖货直播 做卖货直播比较适 ...

  6. 微信公众号直播的玩法须知(下)

    对于微信公众号直播的玩法,除了带货.培训等直播玩法外,还有什么其他的玩法呢?今天我们继续来讲微信公众号的直播玩法. 玩法一:直播商家现场演唱会 本地的一些大型商超在举办重要活动时都会邀请明星来唱歌助阵 ...

  7. 阿里云6·18新玩法上线:邀好友送天猫超市卡 更有机会赢得iPhone 12 Pro!

    阿里云6·18新玩法上线:邀好友送天猫超市卡 更有机会赢得iPhone 12 Pro! 近日,阿里云618会场上线了新的活动,邀请1名新客即得猫超卡!从页面活动规则中我们了解到,邀好友最高可获500元 ...

  8. 手机QQ更新8.8.0正式版:新玩法上线 表情包呲你一脸

    小伙伴们注意:公众号的推送机制不再按照时间前后推送了,微信公众号信息流乱序.君哥建议大家把科技毒瘤君公众号置顶(设为星标⭐),以便第一时间看到推送,非常感谢~,方法如下图:   文 章 分 类   软 ...

  9. 微信视频号直播功能玩法详解:国仁楠哥

    视频号的直播流量来源:用户自己关注的直播.朋友之间在看的直播.附近地区的直播.分享到群里的直播.分享到朋友圈的直播.分享到朋友圈并置顶.预约的直播.开播的提醒.视频号搜索的直播-大部分是私域入口,公开 ...

最新文章

  1. seaborn使用displot函数实现多面板直方图(Multi-panel)可视化:使用set_title函数自定义设置多面板直方图标题(Multi-panel histograms’ title)
  2. mapper中 <include refid=“XXX“></include>标签 <sql id=“XXX“>标签
  3. qpython3l_介绍一下手机里能敲Python代码的软件,QPython3L和Pydroid3,顺便用有道翻译一下后者...
  4. 英雄会被表彰,这些技术与代码也将被历史铭记
  5. 渝粤教育 陕西师范大学 《JAVA程序设计》作业
  6. e.html5.qq.com,QQ群官网-开放能力
  7. Ubuntu18.04安装npm失败解决
  8. 虚拟机中的linux系统无法获得ip(ifconfig命令无法查到ip)
  9. 基于STC89C52的测速和超速报警系统设计
  10. python实现归结演绎推理_人工智能——归结演绎推理
  11. 一个艺术风格化的神经网络算法(A Neural Algorithm of Artistic Style)(译)
  12. qmainwindow 标题栏_Qt:自定义标题栏(QMainWindow)
  13. Python的GUI图形界面工具大全
  14. PYTHON对接国际验证码接口
  15. java中switch语句用法详解
  16. 社区发现算法python视频_社区发现FN算法Python实现
  17. ubuntu系统下格式化移动硬盘
  18. 因男友迟迟没升 P8 分手?? | 每日趣闻
  19. Dozer-Mapping
  20. Android移动应用开发教程笔记①

热门文章

  1. 补充:Linux平台安装VirtualBox虚拟机
  2. 2020超级码力初赛一题解
  3. 华为欧拉操作系统openEuler 安装docker最新版
  4. Python辣鸡,Python多线程不能并行?
  5. SpringBoot 基于RequestBodyAdvice 和 ResponseBodyAdvice 实现数据的加/解密(采用 RSA 算法 ),“船新版本”!
  6. 2019暑假·纪中记合集(持续更新)
  7. python代码换行就是每行后面加个 \
  8. 卡诺图化简法注意事项+竞争冒险知识点总结
  9. php正则判断是否包特殊符号,正则表达式(RegExp)判断文本框中是否包含特殊符号...
  10. 那些忧伤的年轻人 (唉,现在的互联网噢。。。)