基于mediasoup的多方通话研究（一）

mediasoup简介
mediasoup的特性
安装mediasoup-demo
本地运行Demo
server的配置文件
mediasoup的原理
扩展与展望
总结

mediasoup简介

mediasoup号称尖端的WebRTC的视频会议系统，官网为 https://mediasoup.org/.
安装极其简单：

npm install mediasoup
npm install mediasoup-client

有没有兴趣跟我一起学习研究这个优秀的系统呢？

需要强调一点的是：希望大家能提前对ORTC有个大概的了解。

mediasoup的特性

脱颖而出mediasoup，可以用小而美来形容她：

支持目前主流的浏览器，chrome、Firefox、safari、Edge等等。
支持UnifiedPlanSdp和PlanBSdp两种方式；
ORTC的api风格调用方式，避免了WebRTC的不足，使协议更简洁；
json-rpc远程调用方法，协议清晰简洁。；
增加了支持simulcast；
编码简洁、结构清晰；

纵使她很让人喜欢，但也有不尽人意的地方：

上层接口是nodejs，这个根据我们情况集成可能有麻烦（后面我们讲讲怎么解决这个问题）。
功能比较简单，后续的开发较多；

安装mediasoup-demo

首先克隆项目:

$ git clone https://github.com/versatica/mediasoup-demo.git
$ cd mediasoup-demo

安装server:

$ cd server
$ npm install

复制 config.example.js 重命名 config.js 然后可以自定义设置，目前先不做修改:

$ cp config.example.js config.js

安装浏览器端app:

$ cd app
$ npm install

全局安装 gulp-cli (可能需要使用 sudo)：

$ npm install -g gulp-cli

本地运行Demo

首先打开一个终端，运行server :

$ cd server
$ node server.js

在另外一个终端中打开启动app

$ cd app
$ gulp live

接着就可以用浏览器浏览了。

server的配置文件

这里对于config.js 强调一点：

设置rtcAnnouncedIPv4(同rtcAnnouncedIPv6)以支持公网访问，局域网访问默认不需要修改。

 //局域网访问：默认不需要修改rtcAnnouncedIPv4 : null,//公网可以访问：将rtcAnnouncedIPv4修改为公网的IP，重启server即可（仅限有公网IP的云服务器）。rtcAnnouncedIPv4 : '111.111.111.111',

设置rtcMinPort和rtcMaxPort：如果需要公网访问，记得防火墙放行，局域网访问默认不需要修改。

 rtcMinPort       : 40000,rtcMaxPort       : 49999,

mediasoup的原理

下图举例三个Client (browser或者客户端)同时加入一个房间，每个app同时发布一路视频和一路音频，并且接受来自其他app的音视频流，mediasoup内部的结构如下：

每个Client创建两个Peerconnection分别用于发送和接受媒体流，发送端用于发送承载本地videoTrack和audioTrack的localStream，接收端接受来自其他Client的remoteStream；
同时Room会为每个Client创建一个Peer，Peer管理两个Transport用于接受Client的媒体流和向Client发送媒体流；
Peer为对应的Client发送的videoTrack和audioTrack分别创建一个Producer（共2个）；
Peer为其他两个Client发送的videoTrack和audioTrack分别创建2个Consumer（共2个）；
Producer将媒体数据发送给每一个订阅者Consumer。

到此为止，可能会有一个简单的了解了，这里不再细分，有兴趣的话可以私下找我交流。

扩展与展望

mediasoup作为一个SFU服务器，有着出色的性能和极小的开销，多进程负载均衡的方式让我们体会到它的强悍。美中不足的是它的信令只有nodejs接口，并不能满足所有人的胃口。庆幸的是出于对c++的情怀，我将所有的nodejs逻辑翻译成了c++版本，并且开发了对应的native客户端：

c++版本服务器，支持跨平台的编译；保持原有mediasoup-worker代码99.9%完整和不变；
c++版本客户端，Qt5+WebRTC68，支持windows、Mac OS、Linux的编译，且与mediasoup-demo互通；
客户端增加Gpu Video Accelerator，支持H264的硬件encode/decode功能。

未来将加入的新功能

客户端和服务器的音视频流录制功能；
rtsp和rtmp与meidasoup的互通功能；
H264硬件编解码的持续优化。

现献上效果图
server端（有没有熟悉的味道）：

Windows Client:

Windows Client与Web互通：

**Demo下载地址： https://pan.baidu.com/s/18Nfnu_MAafFnkyzBrJnq1g 提取码: jbtu **

总结

Windows下面与mediasoup-worker的管道通讯遇到了好多问题，好在坚持不懈的解决了，毕竟Libuv文档稀有；
nodejs用了ES6新特性，如promise，考虑到维护原版的特性和结构，千辛万苦地用promise-cpp勉强解决了；
很久没有更新博客了，是因为没有新的成果，mediasoup的研究让我又有了新的乐趣，希望能坚持下去；
上面涉及的代码后期可能考虑开源。

另外附上我的Github地址https://github.com/harvestsure欢迎互粉。

转载地址：https://blog.csdn.net/gupar/article/details/83788934

基于mediasoup的多方通话研究 webRtc相关推荐

基于mediasoup的多方通话研究（一）
基于mediasoup的多方通话研究(一) mediasoup简介 mediasoup的特性安装mediasoup-demo 本地运行Demo server的配置文件 mediasoup的原理扩展 ...
基于mediasoup的多方通话研究（二）
前言时隔多年未更新这个领域的技术博客,时间和精力在大把浪费,实属愧疚.自责之下苦研数月,将mediasoup v3的nodejs部分全部翻译成了c++语法,其中99%的保留了原汁原味的架构和设计,其 ...
【Webkit Blog翻译】深入研究WebRTC | 内有福利
"本文译自A Closer Look Into WebRTC" 我们在最近的一篇WebKit博客中宣布了对High Sierra平台和iOS中Safari的WebRTC支持.现在, ...
Android 6.0 Phone 多方通话流程
写在前面的话本文主要分析Voice Call多方通话的流程,分析GSM和CDMA在多方通话不同的地方,研究的代码是Android 6.0的,目前只关注framework层. 1. 多方通话的概念下 ...
【工大SCIR笔记】多方对话研究简述
作者:哈工大SCIR 张开颜 1 介绍人机对话技术是人工智能领域的一个重要研究方向,从手机智能助手,到闲聊陪护型聊天机器人,再到各种面向场景的任务型对话系统平台和智能家居,人机对话系统渐渐融入人类社 ...
【Java】基于TA-Lib技术分析指标研究
[Java]SFC融媒体项目基于TA-Lib技术分析指标研究 [Java]SFC融媒体项目基于TA-Lib技术分析指标研究 0. 前言 1. TA-Lib介绍 2. TA-Lib数据准备 2.1 指标 ...
智能电话会议系统（11）---Android 6.0 Phone 多方通话流程
Android 6.0 Phone 多方通话流程写在前面的话本文主要分析Voice Call多方通话的流程,分析GSM和CDMA在多方通话不同的地方,研究的代码是Android 6.0的,目前只关 ...
多方通话中的VOIP通信原理
多方通话中的VOIP通信原理多方通话中Internet是由众多不同的计算机网络互连而成的,遍布世界各地,使用标准的TCP/IP相互通信和交换数据.TCP/IP将要传输的计算机数据分组排队发送,每个分 ...
Phone 多方通话流程(GSM CDMA)
写在前面的话本文主要分析Voice Call多方通话的流程,分析GSM和CDMA在多方通话不同的地方,研究的代码是Android 6.0的,目前只关注framework层. 1. 多方通话的概念下 ...

基于mediasoup的多方通话研究 webRtc

基于mediasoup的多方通话研究（一）

基于mediasoup的多方通话研究（一）

mediasoup简介

mediasoup的特性

安装mediasoup-demo

本地运行Demo

server的配置文件

mediasoup的原理

扩展与展望

总结

基于mediasoup的多方通话研究 webRtc相关推荐

最新文章

热门文章