iOS直播APP—原理篇

原文：http://www.jianshu.com/p/bd42bacbe4cc 作者：@袁峥Seemygo

一、使用的三方SDK

直播：七牛云
即时通讯：环信
视频滤镜：GPUImage

二、直播环节

推流端：采集(AVFounddation) 美颜处理(GPUImage) 编码(音频:FFmpeg,视频:X264) 推流(libremp)
服务端处理：转码录制截图鉴黄
播放器：解码(视频解码:FFmpeg 视频硬解码:VideoToolBox 音频硬解码:AudioToolBox) 渲染播放(ijkplayer)
互动系统：聊天室礼物系统赞

三、直播APP流程

视音频采集 -> 视频滤镜 -> 视音频解码 -> 推流 -> 流媒体服务器 -> 拉流 -> 音视频解码 -> 音视频播放

四、直播app架构

五、直播APP技术点

六、了解流媒体

流媒体开发：压缩(编码层利用h.264和aac框架压缩音视频) -> 封装(封装层利用flv、ts封装压缩好的数据) -> 打包(协议层利用rtmp、hls打包等装好的数据) -> 传输(网络层利用socket传输打包好的数据)
GPUImage：GPUImage是一个基于OpenGL ES的一个强大的图像/视频处理框架，封装好了各种滤镜同时也可以编写自定义的滤镜，其本身内置了多达120多种常见的滤镜效果；
FFmpeg：是一个跨平台的开源视频框架，能实现如视频编码、解码、串流、播放等丰富的功能。其支持的视频格式以及播放协议非常丰富，几乎包含了所有的音视频编解码、封装格式以及播放协议；
- -Libswresample：可以对音频进行重采样，rematrixing以及转换采样格式等操作；
- -Libavcodec：提供了一个通用的编码框架，包含了许多视频、音频、字幕流等编码/解码器；
- -Libavformat：用于对视频进行封装/解封装；
- -Libavutil：包含一些公共的函数，如随机数生成、数据结构、数学运算等；
- -Libpostproc：用于视频的一些后期处理；
- -Libswscale:用于视频图像缩放、颜色空间转换等；
- -Libavfilter:提供滤镜功能
码率：图片进行压缩后，每秒显示的数据量
视频封装格式，又叫文件格式：一种存储视频信息的容器。流式封装可以有TS、FLV等，索引式的封装有MP4、MOV、AVI等
- 一个视频的文件往往包含图像和音频，还有一些配置信息（如图像和音频的关联，如何解码他们等）：这些内容需要按照一定的规则组织、封装起来。
视频的编码方式：对视频进行压缩编码的方式，常见有H.264、H.263、H.265、MPEG等。封装格式和编码方式就好像项目工程和编程语言，封装格式就是一个项目的工程，编码方式就是编程语言，一个项目工程可以用不同的语言开发。
视频编码标准：对视频进行压缩或者解压缩的编码技术，最影响视频质量的是视频编码方式，跟封装格式没有多大关系。
MPEG：一种视频压缩方式，它采用了帧间压缩，仅存储连续帧之间有差别的地方，从而达到比较大的压缩比。
H.264/AVC：一种视频压缩方式，采用事先预测和与MPEG中的P-B帧一样的帧预测方法压缩，它可以根据需要产生适合网络情况传输的视频流，还有更高的压缩比，有更好的图像质量。
- 单帧画面MPEG4更清晰，H.264动作更连贯
- H.264算法复杂，对系统要求较高
- H.264实现灵活，把一些实现留给厂商来实现，这样既带来了一些好处，同时也带来了像不同产品之间不能互通这样尴尬的事情。
H.265/HEVC：是H.264的升级产品。
- 更高效，同等画面质量下内容体积更小，传输时更快更节约带宽；
- I帧（关键帧）：保留一幅完整的画面，解码时只需要本帧数据就可以完成；
- P帧（差别帧）：保留这一帧跟之前帧的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面（P帧没有完整画面数据，只有与前一帧的画面差别数据）；
- - B帧（双向差别帧）：保留的是本帧和前后帧之间的差别，解码B帧，不仅要取得之前的缓存换面，还要解码之后的画面，通过前后画面的与本帧数据叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累；
帧内压缩（Intraframe）：当压缩一帧图像时，仅考虑本帧的数据而不考虑相邻帧之间的冗余信息，帧内一般采用有损压缩的算法；
帧间压缩（Interframe）：又叫时间压缩（Temporal Compression），它通过比较时间轴上不同帧之间的数据进行压缩，帧间压缩一般是无损的；
合成（muxing）：将视频流、音频流甚至是字幕流封到一个文件中（流式封装有FLV、TS），作为一个信号进行传输；
多码率：又叫码率控制，为适应观众复杂的网络环境（适应WIFI、4G、3G甚至2G），多搞几条线路，自定义码率；
流式封装格式TS：一种流媒体封装格式，流媒体封装有一个好处，就是不需要加载索引再播放，大大减少了首次载入的延迟。两个TS片段可以无缝拼接，播放器能连续播放；
流式封装格式FLV：一种流媒体封装格式，由于他形成的文件极小、加载速度极快，使得网络观看视频文件成为可能，因此FLV格式成为了当今主流视频格式；

七、推流

7.1 数据传输框架
- librtmp:用来传输RTMP协议格式的数据
7.2 流媒体数据传输协议
- RTMP：实时消息传输协议，Adobe Systems公司为Flash播放器和服务器之间的音频、视频和数据传输开发的开放协议，因为是开放协议所以就可以使用了。
- RTMP协议用于对象、视频、音频的传输；
- 这个协议建立在TCP协议或者轮询HTTP协议之上；
- RTMP协议就像一个用来包装数据包的容器，这些数据可以是FLV中的视音频数据。一个单一的链接可以通过不同的通道传输多路网络流，这些通道中的包都是按照固定大小的包传输的；
  chunk：消息包

八、流媒体服务器

8.1 常用服务器
- SRS：一款国人开发的优秀开源流媒体服务器系统；
- BMS：也是一款流媒体服务器系统，但不开源，是SRS的商业版，比SRS功能更多；
- nginx：免费开源web服务器，常用来配置流媒体服务器；
8.2 数据分发
- CDN（content delivery network）：内容分发网络，将网站的内容发布到最接近用户的网络的“边缘”，使用户可以就进去的所需的内容，解决Internet网络拥挤的状况，提高用户访问网站的响应速度；CDN是代理服务器，相当于一个中介；
- CDN工作原理：
  1. 上传流媒体数据到服务器（源站）；
  2. 源站存储流媒体数据；
  3. 客户端播放流媒体，向CDN请求编码后的流媒体数据；
  4. CDN的服务器响应请求，若节点上没有该流媒体数据存在，则向源站继续请求流媒体数据；若节点上已经缓存了该视频文件，则跳到第六步；
  5. 源站响应CDN，将流媒体分发到响应的CDN节点上；
  6. CDN将流媒体数据发送到客户端；
- 回源：当有用户访问某一个URL的时候，如果被解析到的那个CDN节点没有缓存响应的内容，或者是缓存已经到期，就会回源站去获取搜索。如果没有人访问，那么CDN节点不会主动去源站拿；
- 带宽：在固定的时间可传输的数据总量；
  - 比如64位、800MHz的前端总线，它的数据传输速率就等于 64bit * 800MHz / 8(byte) = 6.4GB/s
- 负载均衡：由多台服务器以对称的方式组成一个服务器集合，每台服务器都具有等价的地位，都可以单独对外提供服务而无须其他服务器的辅助；
  - 通过某种负载分担技术，将外部发送来的请求均匀分配到对称结构中的某一台服务器上，而接收到请求的服务器独立地回应客户的请求；
  - 均衡负载能够平均分配客户端请求到服务器列阵，籍此提供快速获取重要数据，解决大量并发访问服务问题；
  - 这种群集技术可以用最好的投资获得接近于大型主机的性能；
- Qos（带宽管理）：限制每一个群组的带宽，让有限的贷款发挥最大的作用；
8.3 拉流
- 直播协议选择:
  - 即时性要求较高或有互相需求的可以采用RTMP，RSTP；
  - 对于有回放或跨平台需求的，推荐使用HLS；
- 直播协议对比:
- HLS：由Apple公司定义的用于实时流传输的协议，HLS基于HTTP协议实现，传输内容包括两部分，一是m3u8描述文件，二是TS媒体文件。可实现流媒体的直播和点播，主要应用在iOS系统；
  - HLS是以点播的技术方式来实现直播；
  - HLS是自适应码率流播，客户端会根据网络状况自动选择不同码率的视频流，条件允许的情况下使用高码率，网络繁忙的时候使用低码率，并且自动在二者间随意切换。这对移动设备网络状况不稳定的情况下保障流畅播放非常有帮助；
  - 实现方法是服务端提供多码率视频流，并且在列表文件中注明，播放器根据播放进度和下载速度自动调整。
- HLS与RTMP对比：HLS主要是延时比较大，RTMP主要优势在于延时低；
  - HLS协议的小切片方式会生成大量的文件，存储或处理这些文件会造成大量资源浪费；
  - 相比使用RTSP协议的好处在于，一旦切分完成，之后的分发过程完全不需要额外使用任何专门软件，普通的网络服务器即可，大大降低了CDN边缘服务器的配置要求，可以使用任何现成的CDN，而一般服务器很少支持RTSP；
- HTTP-FLV：基于HTTP协议流式的传输媒体内容。
  - 相对于RTMP，HTTP更简单和广为人知，内容延迟同样可以做到1-3秒，打开速度更快，因为HTTP本身没有复杂的状态机交互。所以从延迟角度来看，HTTP-FLV要优于RTMP。
- RTSP：实时流传输协议，定义了一对多应用程序如何有效地通过IP网络传送多媒体数据；
- RTP：实时传输协议，RTP是建立在UDP协议上的，常与RTCP一起使用，其本身并没有提供按时发送机制或其它服务质量保证，它依赖于底层服务去实现这一过程；
- RTCP：RTP的配套协议，主要功能是为RTP所提供的服务质量提供反馈，收集相关媒体链接的统计信息，例如传输字节数，传输分组数，丢失分组数，单向和双向网络延迟等等；

八、解码

8.1 解封装
- demuxing(分离)：从视频流、音频流、字幕流合成的文件中，分解出视频、音频或字幕，各自进行解码；
8.2 音频解码框架
- fdk_aac:音频编码解码框架，PCM音频数据和AAC音频数据互转；
8.3 解码介绍
- 硬解码：用GPU（图形处理器）来解码，减少CPU运算
  - 优点：播放流畅、低功耗，解码速度快
  - 缺点：兼容不好
- 软解码：用CPU（中央处理器）来解码
  - 优点：兼容好
  - 缺点：加大CPU负担，耗电增加，没有硬解码流畅，解码速度相对慢

九、播放

ijkplayer：一个基于FFmpeg的开源Android/iOS视频播放器
- API易于集成；
- 编译配置可裁剪，方便控制安装包大小
- 支持硬件加速解码，更加省电
- 简单易用，指定拉流URL，自动解码播放

十、聊天互动

IM：即时通讯，是一个实时通讯系统，允许两人或多人使用网络实时的传递文字消息、文件、语音与视频交流；第三方SDK：环信；

iOS直播APP—原理篇相关推荐

如何快速的开发一个完整的iOS直播app(原理篇)
本文转自袁峥Seemygo的博客分享.觉得很不错.特意粘来给大家分享. 1.一个完整直播app功能(来自落影loyinglin分享) 1.聊天私聊.聊天室.点亮.推送.黑名单等; 2.礼物普通礼物 ...
如何快速的开发一个完整的iOS直播app(美颜篇)
1.前言在看这篇之前,如果您还不了解直播原理,请查看这篇文章如何快速的开发一个完整的iOS直播app(原理篇) 开发一款直播app,美颜功能是很重要的,如果没有美颜功能,可能分分钟钟掉粉千万,本篇主 ...
如何快速的开发一个完整的iOS直播app(播放篇)
前言在看这篇之前,如果您还不了解直播原理,请查看上篇文章如何快速的开发一个完整的iOS直播app(原理篇) 开发一款直播app,集成ijkplayer成功后,就算完成直播功能一半的工程了,只要有拉流 ...
iOS直播app原理
一.个人见解(直播难与易) 直播难:个人认为要想把直播从零开始做出来,绝对是牛逼中的牛逼,大牛中的大牛,因为直播中运用到的技术难点非常之多,视频/音频处理,图形处理,视频/音频压缩,CDN分发,即时通 ...
【如何快速的开发一个完整的iOS直播app】(美颜篇)
前言在看这篇之前,如果您还不了解直播原理,请查看这篇文章如何快速的开发一个完整的iOS直播app(原理篇) 开发一款直播app,美颜功能是很重要的,如果没有美颜功能,可能分分钟钟掉粉千万,本篇主要讲 ...
【如何快速的开发一个完整的iOS直播app】(采集篇)
前言在看这篇之前,如果您还不了解直播原理,请查看这篇文章如何快速的开发一个完整的iOS直播app(原理篇) 开发一款直播app,首先需要采集主播的视频和音频,然后传入流媒体服务器,本篇主要讲解如何采 ...
【如何快速的开发一个完整的iOS直播app】(播放篇)
前言在看这篇之前,如果您还不了解直播原理,请查看上篇文章如何快速的开发一个完整的iOS直播app(原理篇) 开发一款直播app,集成ijkplayer成功后,就算完成直播功能一半的工程了,只要有拉流 ...
（转）【如何快速的开发一个完整的iOS直播app】(原理篇)
原文链接:https://www.jianshu.com/p/bd42bacbe4cc [如何快速的开发一个完整的iOS直播app](原理篇) [如何快速的开发一个完整的iOS直播app](原理篇) ...
【如何快速的开发一个简单的iOS直播app】(代码篇)
开篇([如何快速的开发一个完整的iOS直播app](原理篇) ) 好久没写简书,因为好奇的我跑去学习直播了,今天就分享一下我的感慨. 目前为止直播还是比较热点的技术的,简书,git上有几篇阅读量和含金 ...

iOS直播APP—原理篇

一、使用的三方SDK

二、直播环节

三、直播APP流程

四、直播app架构

五、直播APP技术点

六、了解流媒体

七、推流

八、流媒体服务器

八、解码

九、播放

十、聊天互动

iOS直播APP—原理篇相关推荐

最新文章

热门文章