视频直播技术详解（0）开篇
（原标题：《视频直播技术详解》系列之一：开篇）
文|何李石
随着互联网用户消费内容和交互方式的升级，支撑这些内容和交互方式的基础设施也正在悄悄发生变革。手机设备拍摄视频能力和网络的升级催生了大家对视频直播领域的关注，吸引了很多互联网创业者或者成熟企业进入该领域。
七牛云作为一家以基础服务能力见长的云计算公司，于 6 月底发布了一个针对视频直播的实时流网络 LiveNet 和完整的直播云解决方案，很多开发者对这个网络和解决方案的细节和使用场景非常感兴趣。
结合七牛实时流网络 LiveNet 和直播云解决方案的实践，我们将用七篇文章，更系统化地介绍当下大热的视频直播各环节的关键技术，帮助视频直播创业者们更全面、深入地了解视频直播技术，更好地技术选型。
本系列文章大纲如下：
(一)开篇
(二)采集和处理
(三)编码和封装
(四)推流和传输
(无)现代播放器原理
(六)延迟优化
(七)SDK 性能测试模型
本文是《解密视频直播技术》系列之一：开篇，我们将从整体介绍直播中的各个环节。
1.采集
采集是播放环节中的第一环，iOS 系统因为软硬件种类不多，硬件适配性较好，所以比较简单。Android 则不同，市面上硬件机型非常多，难以做到一个库适配所有硬件。PC 端的采集也跟各种摄像头驱动有关，推荐使用目前市面上最好用的 PC 端开源免费软件 OBS。
2.处理
「80% 的主播没有美颜根本没法看。」不光是美颜，很多其它的视频处理如模糊效果、水印等也都是在这个环节做。目前 iOS 端比较知名的是 GPUImage 这个库，提供了丰富端预处理效果，还可以基于这个库自己写算法实现更丰富端效果。Android 也有 GPUImage 这个库的移植，叫做 android-gpuimage。同时，Google 官方开源了一个伟大的库，覆盖了 Android 上面很多多媒体和图形图像相关的处理。
3.编码
编码主要难点有两个：1. 处理硬件兼容性问题。2. 在高 fps、低 bitrate 和音质画质之间找到平衡。iOS 端硬件兼容性较好，可以直接采用硬编。而 Android 的硬编的支持则难得多，需要支持各种硬件机型，推荐使用软编。
4.推流和传输
传输涉及到很多端：从主播端到服务端，从收流服务端到边缘节点，以及再从边缘节点到观众端。
推流端和分发端理论上需要支持的并发用户数应该都是亿级的，不过毕竟产生内容的推流端在少数，和消费内容端播放端不是一个量级，但是他们对推流稳定性和速度的要求比播放端高很多，这涉及到所有播放端能否看到直播，以及直播端质量如何。
很多人吐槽现在的 CDN 不靠谱，我也承认传统的 CDN 在新时代显得心有余力不足。你能够借助 CDN 快速实现大规模的流分发，但是稳定高速的推流上传可能还需要自己做很多工作。因此，我们七牛打造了一个直播专属的实时流网络，接下来我们会重点介绍这个网络和传统 CDN 的差别。
5.转码
为了让主播推上来的流适配各个平台端各种不同协议，需要在服务端做一些流处理工作，比如转码成不同格式支持不同协议如 RTMP、HLS 和 FLV，一路转多路流来适配各种不同的网络状况和不同分辨率的终端设备。
同时，为了配合一些运营需求，比如一些监管部门的要求，我们在服务端也提供了内容识别如鉴黄的功能。
6.解码和渲染
解码和渲染，也即音视频的播放，目前 iOS 端的播放兼容性较好，在延迟可接受的情况下使用 HLS 协议是最好的选择，我们也提供了能够播放 RTMP 和 HLS 的播放器 SDK。Android 的硬件解码和编码一样也存在兼容性问题，目前比较好的开源播放器是基于 ffplay 的 ijkplayer，我们也基于此实现了一个更好的 Android SDK
除了 SDK 的介绍之外，我们将重点介绍播放器的原理，以及现代视频播放器的基本架构。
7.直播场景化解决方案
除了整个直播流程的介绍之外，我们将围绕当下最火的直播场景如社交直播和游戏直播，介绍它背后的技术方案。这些技术方案不仅涉及到七牛这样的直播基础服务，还可能涉及到和场景相关的其它技术，如社交直播下的聊天、点赞和弹幕的支持。
视频直播技术详解（0）开篇相关推荐
- 移动端实时音视频直播技术详解（一）：开篇
移动端实时音视频直播技术详解(一):开篇 1.引言 随着互联网用户消费内容和交互方式的升级,支撑这些内容和交互方式的基础设施也正在悄悄发生变革.手机设备拍摄视频能力和网络的升级催生了大家对视频直播领域 ...
- 《视频直播技术详解》系列：（0）汇总
以转载七牛云的<视频直播技术详解>系列文章为基础,每篇文章都附有笔者在工作实践中的积累和补充.感谢七牛云创作,并感谢读者与笔者的技术交流. <视频直播技术详解>系列:(1)延迟 ...
- 视频直播技术详解(8)直播云 SDK 性能测试模型
<视频直播技术详解>系列之八:直播云 SDK 性能测试模型 牛小七2016年10月12日发布在 视频直播技术详解 七牛云于 6 月底发布了一个针对视频直播的实时流网络 LiveNet 和完 ...
- 《视频直播技术详解》系列之八：直播云 SDK 性能测试模型
七牛云于 6 月底发布了一个针对视频直播的实时流网络 LiveNet 和完整的直播云解决方案,很多开发者对这个网络和解决方案的细节和使用场景非常感兴趣. 结合七牛实时流网络 LiveNet 和直播云解 ...
- 【音视频第6天】基础知识-移动端实时音视频直播技术详解和开源工程WebRTC的技术原理和使用浅析
本文是系列文章中的第1篇,本系列文章的大纲如下: <移动端实时音视频直播技术详解(一):开篇> <移动端实时音视频直播技术详解(二):采集> <移动端实时音视频直播技术详 ...
- 视频直播技术详解(7)现代播放器原理
<视频直播技术详解>系列之七:现代播放器原理 牛小七2016年9月29日发布在 视频直播技术详解 from: http://blog.qiniu.com/archives/7040 七牛云 ...
- 《视频直播技术详解》系列之七：现代播放器原理
七牛云于 6 月底发布了一个针对视频直播的实时流网络 LiveNet 和完整的直播云解决方案,很多开发者对这个网络和解决方案的细节和使用场景非常感兴趣. 结合七牛实时流网络 LiveNet 和直播云解 ...
- 视频直播技术详解之直播云SDK性能测试模型
声明:本文为CSDN原创投稿文章,未经许可,禁止任何形式的转载. 作者:七牛云 责编:钱曙光,关注架构和算法领域,寻求报道或者投稿请发邮件qianshg@csdn.net,另有「CSDN 高级架构师群 ...
- 《视频直播技术详解》系列：（4）采集
原文来自七牛云,感谢原作者. <视频直播技术详解>系列:(0)汇总 采集是整个视频推流过程中的第一个环节,它从系统的采集设备中获取原始视频数据,将其输出到下一个环节.视频的采集涉及两方面数 ...
最新文章
- PolyData之DataBounds
- openresty源码剖析——lua代码的执行
- 站立会议中发现的一些新问题
- 在SQL Server中使用architectureid
- JAR包使用方法指南
- iocp三层架构服务器模型
- SharedMaterial的一些问题
- hbuilder能写php项目吗,如何在Android中使用HBuilder中的项目
- 【其他专题】好用的截图（包括动图gif）软件分享
- java instrument_JDK instrument 踩坑记录
- Epicor客制化 - 在VS中进行开发
- 寒假实践之—大奖赛计分系统
- android 视频通话窗口切换,仿微信视频通话大小视图切换（SurfaceView实现）
- Remo Repair PowerPoint(PPT修复工具)v2.0官方版
- react调试工具与调试方法
- 对国家最新战略“新基建”的解读，一起把握赚钱的机会
- 想学设计模式、想搞架构设计，先学学 UML 系统建模吧
- 【生成报名号+缴费成功】不代表考研报名成功！
- ElasticSearch的介绍与安装
- Apache Accumulo用户手册