音视频流媒体高级开发进阶：从音视频基础知识到技术实践

站在音视频行业风口

站在风口，猪也能飞”。在已经到来的2022年，音视频行业依旧是怎么也绕不过去的风口。

一方面，随着各项5G政策的落实，音视频+5G风口，将会深入挖掘音视频产业的无限潜力，加速与云计算、人工智能等领域的深度融合，不断催生新的业态和新的商业模式。

另一方面，实时音频也在助力在线教育风口，因为疫情，让越来越多的学生、家长、教育者都意识到了在线教育的重要性。音视频技术，无疑是在线教育背后一只强大的推手。

提前储备高薪技术力

面对音视频风口的重锤出击，你还不了解什么是音视频技术？让我们一探究竟。

四类音视频技术：

1、音视频高性能编解码和封装技术（监控相机）

2、音视频直播的推流拉流技术（直播技术，5G应用）

3、音视频渲染和界面交互技术（短视频）

4、各类智能设备的音视频处理（智能硬件，无人机）

目前学习音视频技术的优势：

[岗位多工资高]：音视频技术广泛应用于视频处理播放、直播、无人机、安防、智能机器人。

如何把握“音视频”风口

一名合格的音视频开发人员，需要掌握哪些技能呢？音视频技术该怎么学？

下面是个人整理的关于音视频开发学习的技术知识点，相信有了这些之后你能更好的掌握音视频开发。

音视频开发标准技术路线

音视频基础知识

音频基础知识,PCM 格式、编码原理等
视频基础知识,YUV 格式、IPB 帧原理等

FFmpeg命令实战

命令帮助

如何查询 Ffmpeg 命令帮助
Ffmpeg 命令分类

ffplay命令

ffplay 播放控制
ffplay 播放 pcm
ffplay 播放 yuv
ffplay 使用 filter 播放

ffmpeg 命令

pcm 提取
yuv 提取
aac 提取
h264 提取
视频录制命令
多媒体文件的分解/复用命令
裁剪与合并命令
图片/视频互转命令
直播相关命令
各种滤镜命令

FFmpeg 编程实战

音视频渲染实战

SDL 环境搭建
SDL 事件处理
SDL 线程处理
YUV 视频播放实战
PCM 声音播放实战

FFmpeg API 精讲

FFmpeg 框架分析
FFmpeg 内存模型分析
FFmpeg 常用结构体精讲

音视频编解码

FFmpeg 解码流程分析
FFmpeg 编码流程分析
AAC 编解码原理
H264 编解码原理
AAC 解码实战
AAC 编码实战
H264 解码实战
H264 编码实战
MP3 转 AAC 实战

音视频封装格式

FLV 封装格式分析
MP4 封装格式分析
多媒体解复用实战
多媒体复用实战
多媒体转封装格式实战
音频重采样
视频尺寸变换

音视频过滤器

音视频过滤器
视频过滤器
过滤器实际项目实现

ffplay 播放器

掌握 ffplay.c 的意义
ffplay 框架分析
音视频解码
音视频控制
音视频同步
参数机制

播放器开发实战

播放器框架分析
模块划分
音视频解码
播放器控制
音视频同步

ffmpeg 录制转码

掌握 ffmpeg.c 的意义
ffmpeg 框架分析
音视频编码
封装格式转换
提取音频
提取视频
logo 叠加
音视频文件拼接
filter 机制

流媒体客户端实战

RTMP 流媒体

RTMP 协议分析
wireshark 抓包分析
H264 RTMP 封装
AAC RTMP 封装
RTMP 拉流实战
H264 RTMP 解析
AAC RTMP 解析
RTMP 推流实战

HLS 流媒体

HLS 协议分析
HTTP 协议分析
TS 格式分析
wireshark 抓包分析
HLS 拉流实战
FFmpeg HLS 源码分析
HLS 多码率机制

HTTP-FLV 流媒体

HTTP-FLV 协议分析
wireshark 抓包分析
http chunk 机制分析
HTTP-FLV 拉流实战
FFmpeg HTTP-FLV 源码分析

RTSP 流媒体实战

RTSP 协议分析
RTP 协议分析
H264 RTP 封装
H264 RTP 解析
AAC RTP 封装
AAC RTP 解析
RTCP 协议分析
RTSP 流媒体服务器搭建
RTSP 推流实战
RTSP 拉流实战
wireshark 抓包分析

SRS 流媒体服务器

SRS 3.0 源码剖析

整体框架分析
RTMP 推流分析
RTMP 拉流分析
HLS 拉流分析
HTTP-FLV 拉流分析
FFmpeg 转码分析
首屏秒开技术分析
forward 集群源码分析
edge 集群源码分析
负载均衡部署方式

WebRTC 实战

WebRTC 中级开发

WebRTC 通话原理分析
WebRTC 开发环境搭建
coturn 最佳搭建方法
如何采集音视频数据
一对一通话时序分析
信令服务器设计
SDP 分析
Candidate 类型分析
Web 一对一通话
Web 和 Android 通话
AppRTC 快速演示

WebRTC 高级开发

自定义摄像头分辨率
码率限制
调整编码器顺序
Mesh 模型多方通话
Janus 框架分析
Janus Web 客户端源码分析
Janus Android 客户端源码分析
Janus Windows 客户端源码分析
Janus 信令设计
基于 Janus 实现会议系统
WebRTC 源码编译

Janus 服务器源码分析

源码结构
插件机制
线程分析
信令交互过程
videoroom 分析

SRS4.x 源码分析

RTMP 转发 WebRTC 逻辑
WebRTC 转发 RTMP 逻辑
WebRTC 音视频一对一通话
WebRTC 多人通话
WebRTC SFU 模型分析
stun 分析
turn 分析
sdp 分析
rtp 分析
srtp 分析
拥塞控制算法
FEC
jitter buffer

Android NDK 开发

音视频开发

So 库适配总结
JNI Native 层构建 Java 对象
JNI 异常处理
编译 FFmpeg
编译 ijkplayer
基于 ijkplayer 二次开发
OpenSL ES 播放音频数据
MediaCodec 硬件解码
OpenGL ES Shader 显示视频
RTMP 推流直播

GSYVideoPlayer 源码分析

多视频同时播放
gif 截图
边播放边缓存
水印
弹幕

音视频的路很长，更多的还是要靠自己去学习和实践，带着追求极致的精神去探索和优化，最终，大家都能快速成长，成为真正的行业专家！

音视频开发学习资料、教学视频有需要的可以自行添加学习交流群或者资料获取