Android音视频开发之-WebRTC技术实践

背景简介

WebRTC是Google于2011年6月3日开源的即时通讯项目，旨在使其成为客户端视频通话的标准。其实在Google将WebRTC开源之前，微软和苹果各自的通讯产品已占用很大市场份额（如Skype），Google也是为了快速扩大市场，所以将他给开源。经常接触开源的人应该很容易理解Google这种策略，只不过在国内大家都喜欢弄成SDK，然后按年按月按用户数给你收费，总让你觉得不爽，呵呵。

刚接触WebRTC的时候你会被里面的一堆概念搞晕，特别是对没接触过音视频的人来说，如WebRTC, ICE, STUN, TURN, P2P, NAT, Jingle, TALK, VOIP, FFMPEG, H264, VP8, NACK, RTP, RTCP, RTSP, RTMP, SIP, XMPP, ISAC, ILBC, OPUS, G711, G722. 晕了吧，凡事都要有个过程的，一步步来吧！

WebRTC被誉为是Web长期开源开发的一个新启元，是近年来web开发的最重要创新。WebRTC允许Web开发者在其web应用中添加视频聊天或者点对点数据传输，不需要复杂的代码或者昂贵的配置。目前支持Chrome、Firefox和Opera，后续会支持更多的浏览器，它有能力达到数十亿的设备。

然而，WebRTC一直被误解为仅适合于浏览器。事实上，WebRTC最重要的一个特征是允许本地和web应用间的互操作，很少有人使用到这个特性。

所以自然Android应用也可以植入WebRTC。好处是什么？简单来说就是你可以用很简洁的代码，在手机上实现点对点的音视频通话或者数据传输，点对点，也就是P2P。

项目准备

信令服务器搭建：

安装Node.js
进入项目根目录，命令行：npm install
命令行：node app.js
打开浏览器输入127.0.0.1:3000，见到WebRtcServer标题，服务器ready

1、下载后直接AndroidStudio打开
2、将WebRtcClient.java类中的mSocketAddress变量改成你服务器的ip端口3000
3、安装后启动App，如果服务器log显示-- xxxxx joined --证明客户端已连上服务器
4、至少两个客户端连接到服务器之后，其中一端点击init开始连接

如果你已经成功跑通了Demo，那么恭喜你已经成功了一半，接下来我们分析下实现流程。

实现流程

一、添加WebRTC库依赖
compile ‘org.webrtc:google-webrtc:1.0.+’

二、初始化核心类PeerConnectionFactory

PeerConnectionFactory.initialize(PeerConnectionFactory.InitializationOptions.builder(this).createInitializationOptions());

三、创建PeerConnection对象

    peerConnection = factory.createPeerConnection(iceServers, //ICE服务器列表constraints, //MediaConstraintsthis); //Context

四、建立P2P连接通道
WebRTC是基于P2P的，但在端与端之间的连接通道还没建立起来之前，我们需要通过一个信令服务器为端与端之间传递信令建立通道。信令服务器要做的东西很简单，就是将一端的信息透传给另一端，步骤如下（以Demo为例）：我们启动A端与B端，通过SocketIO连接到信令服务器，我们以A作为发送端，B为响应端。

信令交换

A向服务器发出init请求
服务器将A的init请求转发给连接上服务器的其他端
B收到init请求后，调用peerConnection.createOffer()方法创建一个包含SDP的offer信令
offer信令创建成功后会调用SdpObserver监听中的onCreateSuccess()响应函数，在此处B通过peerConnection.setLocalDescription()方法将SDP赋予自己的PeerConnection对象，同时将offer信令发送给服务器
服务器将offer信令转发给A端
A收到offer信令后，调用peerConnection.setRemoteDescription()方法将B发过来的SDP赋予自己的PeerConnection对象，并调用peerConnection.createAnswer()方法创建一个answer信令
answer信令创建成功后同样会调用SdpObserver监听中的onCreateSuccess()响应函数，在此处A同样通过peerConnection.setLocalDescription方法将SDP赋予自己的PeerConnection对象，同时将answer信令发送给服务器
服务器将answer信令转发给B端
B收到A的answer信令后，利用peerConnection.setRemoteDescription()方法将A发过来的SDP赋予自己的PeerConnection对象
设置Candidate
PeerConnection.Observer监听会调用onIceCandidate()响应函数并提供IceCandidate对象。然后将IceCandidate对象组成candidate信令发送给服务器
服务器将candidate信令转发给连接上服务器的其他端
收到candidate信令后调用peerConnection.addIceCandidate()将IceCandidate赋予自己的PeerConnection对象

至此Peer-to-Peer的连接已经建立起来了

五、使用DataChannel收发信息
初始化DataChannel对象

/*
DataChannel.Init 可配参数说明：
ordered：是否保证顺序传输；
maxRetransmitTimeMs：重传允许的最长时间；
maxRetransmits：重传允许的最大次数；*/
DataChannel.Init init = new DataChannel.Init();
dataChannel = peerConnection.createDataChannel("dataChannel", init);

在onDataChannel()回调中注册消息回调

dataChannel.registerObserver(this);

发送消息

byte[] msg = message.getBytes();
DataChannel.Buffer buffer = new DataChannel.Buffer(ByteBuffer.wrap(msg),false);
dataChannel.send(buffer);

onMessage()回调收消息

ByteBuffer data = buffer.data;
byte[] bytes = new byte[data.capacity()];
data.get(bytes);
String msg = new String(bytes);

欢迎关注我的微信公众号「码农突围」，分享Python、Java、大数据、机器学习、人工智能等技术，关注码农技术提升•职场突围•思维跃迁，20万+码农成长充电第一站，陪有梦想的你一起成长。

Android音视频开发之-WebRTC技术实践相关推荐

音视频流媒体高级开发进阶：从音视频基础知识到技术实践
站在音视频行业风口站在风口,猪也能飞".在已经到来的2022年,音视频行业依旧是怎么也绕不过去的风口. 一方面,随着各项5G政策的落实,音视频+5G风口,将会深入挖掘音视频产业的无限潜力, ...
Android 音视频开发学习思路
Android 音视频开发这块目前的确没有比较系统的教程或者书籍,网上的博客文章也都是比较零散的.只能通过一点点的学习和积累把这块的知识串联积累起来. 初级入门篇: Android 音视频开发(一) ...
那些年，Android音视频开发那些事儿
音视频开发的主要应用有哪些? 音频播放器,录音机,语音电话,音视频监控应用,音视频直播应用,音频编辑/处理软件,蓝牙耳机/音箱,等等 1.视频监控类 (JNI+应用层开发) 从硬件到嵌入式再到软件,涉 ...
23最新《Android音视频开发进阶指南》，音视频开发者速领
作为Android开发程序员,我们时刻站在互联网的前端,而音视频作为现在乃至未来几年一个强劲的风口,吸引了许多程序员的关注. 那么音视频开发的行业现状究竟如何呢?我们又该怎样入门呢?请看下文: 音视频 ...
企业级Android音视频开发笔记分享，快来get正确的学习姿势
随着传统的图文媒体向以音视频为主的新媒体转变,音视频开发逐渐成为Android领域内的小热门.但音视频开发涉及的层面较广,相关的技术繁多且复杂,想要深入确有一定难度.且目前网络上关于Android 音 ...
Android 音视频开发之基础篇使用 imageview绘制一张图片
Android 音视频开发任务一 ImageView 绘制图片文章目录 Android 音视频开发任务一 ImageView 绘制图片前言一.配置activity_main.xml 二.添加 ...
Android 音视频开发（一）：PCM 格式音频的播放与采集
什么是 PCM 格式声音从模拟信号转化为数字信号的技术,经过采样.量化.编码三个过程将模拟信号数字化. 采样顾名思义,对模拟信号采集样本,该过程是从时间上对信号进行数字化,例如每秒采集 44100 ...
《Android 音视频开发》《 Android 进阶解密》书籍赠送
今年听了一年的 "Android不行了..." 之类的谣言,这不都年底了嘛,也没看见哪个公司停止了安卓开发需求. 最近又出现了很多关于"互联网寒冬..."之类的 ...
Android 音视频开发(一) -- 使用AudioRecord 录制PCM(录音)；AudioTrack播放音频
前言,音视频这块,确实比较难入门,本着学习的态度,我这边也跟着 Android 音视频开发入门指南打怪升级,留下个脚印,大家共勉. 音视频系列文章 Android 音视频开发(一) – 使用Aud ...
android音频开发6,Android 音视频开发(一) : 通过三种方式绘制图片
想要逐步入门音视频开发,就需要一步步的去学习整理,并积累.本文是音视频开发积累的第一篇. 对应的要学习的内容是:在 Android 平台绘制一张图片,使用至少 3 种不同的 API,ImageView ...

Android音视频开发之-WebRTC技术实践

Android音视频开发之-WebRTC技术实践相关推荐

最新文章

热门文章