文章目录

  • 安卓直播推流专栏博客总结
  • 一、 FAAC 编码器编码 AAC 音频解码信息
  • 二、 封装 RTMP 音频数据头
  • 三、 封装 RTMP 音频数据类型
  • 四、 拷贝 AAC 音频数据到 RTMPPacket 数据包中
  • 五、 设置数据包大小
  • 六、 设置绝对时间、数据类型、RTMP 通道、头类型
  • 七、 FAAC 编码器编码代码示例

安卓直播推流专栏博客总结

Android RTMP 直播推流技术专栏 :

0 . 资源和源码地址 :

  • 资源下载地址 : 资源下载地址 , 服务器搭建 , x264 , faac , RTMPDump , 源码及交叉编译库 , 本专栏 Android 直播推流源码 ;
  • GitHub 源码地址 : han1202012 / RTMP_Pusher

1. 搭建 RTMP 服务器 : 下面的博客中讲解了如何在 VMWare 虚拟机中搭建 RTMP 直播推流服务器 ;

  • 【Android RTMP】RTMP 直播推流服务器搭建 ( Ubuntu 18.04.4 虚拟机 )

2. 准备视频编码的 x264 编码器开源库 , 和 RTMP 数据包封装开源库 :

  • 【Android RTMP】RTMPDumb 源码导入 Android Studio ( 交叉编译 | 配置 CMakeList.txt 构建脚本 )

  • 【Android RTMP】Android Studio 集成 x264 开源库 ( Ubuntu 交叉编译 | Android Studio 导入函数库 )

3. 讲解 RTMP 数据包封装格式 :

  • 【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | 文件头 Header 分析 | 标签 Tag 分析 | 视频标签 Tag 数据分析 )

  • 【Android RTMP】RTMP 数据格式 ( FLV 视频格式分析 | AVC 序列头格式解析 )

4. 图像数据采集 : 从 Camera 摄像头中采集 NV21 格式的图像数据 , 并预览该数据 ;

  • 【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )

  • 【Android RTMP】Android Camera 视频数据采集预览 ( NV21 图像格式 | I420 图像格式 | NV21 与 I420 格式对比 | NV21 转 I420 算法 )

  • 【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

5. NV21 格式的图像数据编码成 H.264 格式的视频数据 :

  • 【Android RTMP】x264 编码器初始化及设置 ( 获取 x264 编码参数 | 编码规格 | 码率 | 帧率 | B帧个数 | 关键帧间隔 | 关键帧解码数据 SPS PPS )

  • 【Android RTMP】x264 图像数据编码 ( Camera 图像数据采集 | NV21 图像数据传到 Native 处理 | JNI 传输字节数组 | 局部引用变量处理 | 线程互斥 )

  • 【Android RTMP】x264 图像数据编码 ( NV21 格式中的 YUV 数据排列 | Y 灰度数据拷贝 | U 色彩值数据拷贝 | V 饱和度数据拷贝 | 图像编码操作 )

6. 将 H.264 格式的视频数据封装到 RTMP 数据包中 :

  • 【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 封装 SPS / PPS 数据包 )

  • 【Android RTMP】RTMPDump 封装 RTMPPacket 数据包 ( 关键帧数据格式 | 非关键帧数据格式 | x264 编码后的数据处理 | 封装 H.264 视频数据帧 )

  • 【Android RTMP】RTMPDump 推流过程 ( 独立线程推流 | 创建推流器 | 初始化操作 | 设置推流地址 | 启用写出 | 连接 RTMP 服务器 | 发送 RTMP 数据包 )

7. 阶段总结 : 阿里云服务器中搭建 RTMP 服务器 , 并使用电脑软件推流和观看直播内容 ;

  • 【Android RTMP】RTMP 直播推流 ( 阿里云服务器购买 | 远程服务器控制 | 搭建 RTMP 服务器 | 服务器配置 | 推流软件配置 | 直播软件配置 | 推流直播效果展示 )

  • 【Android RTMP】RTMP 直播推流阶段总结 ( 服务器端搭建 | Android 手机端编码推流 | 电脑端观看直播 | 服务器状态查看 )

8. 处理 Camera 图像传感器导致的 NV21 格式图像旋转问题 :

  • 【Android RTMP】NV21 图像旋转处理 ( 问题描述 | 图像顺时针旋转 90 度方案 | YUV 图像旋转细节 | 手机屏幕旋转方向 )

  • 【Android RTMP】NV21 图像旋转处理 ( 图像旋转算法 | 后置摄像头顺时针旋转 90 度 | 前置摄像头顺时针旋转 90 度 )

9. 下面这篇博客比较重要 , 里面有一个快速搭建 RTMP 服务器的脚本 , 强烈建议使用 ;

  • 【Android RTMP】NV21 图像旋转处理 ( 快速搭建 RTMP 服务器 Shell 脚本 | 创建 RTMP 服务器镜像 | 浏览器观看直播 | 前置 / 后置摄像头图像旋转效果展示 )

10. 编码 AAC 音频数据的开源库 FAAC 交叉编译与 Android Studio 环境搭建 :

  • 【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )

  • 【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )

11. 解析 AAC 音频格式 :

  • 【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )

12 . 将麦克风采集的 PCM 音频采样编码成 AAC 格式音频 , 并封装到 RTMP 包中 , 推流到客户端 :

  • 【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )

  • 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

  • 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

Android 直播推流流程 : 手机采集视频 / 音频数据 , 视频数据使用 H.264 编码 , 音频数据使用 AAC 编码 , 最后将音视频数据都打包到 RTMP 数据包中 , 使用 RTMP 协议上传到 RTMP 服务器中 ;

视频推流 : 之前的一系列博客中完成手机端采集视频数据操作 , 并将视频数据传递给 JNI , 在 NDK 中使用 x264 将图像转为 H.264 格式的视频 , 最后将 H.264 格式的视频打包到 RTMP 数据包中 , 上传到 RTMP 服务器中 ;

音频推流 : 开始进行音频直播推流操作 , 先采集音频 , 将音频编码为 AAC 格式 , 将编码后的音频打包成 RTMP 包 , 然后推流到服务器中 ;

AAC 音频解码信息 : AAC 音频数据推流前 , 需要将解码信息推流到服务器 , 否则播放器无法识别该 AAC 音频数据 , 本篇博客就是讲解 FAAC 编码器编码生成 AAC 解码信息 , 并封装 RTMPPacket 数据包 , 推流到 RTMP 服务器中 ;

一、 FAAC 编码器编码 AAC 音频解码信息

推流 AAC 音频数据之前 , 需要先将 AAC 格式音频的解码信息推流到服务器中 , AAC 音频解码信息用于指导播放器解码 AAC 音频数据 ; 其作用类似于 H.264 视频的 SPS 和 PPS 数据 , 用于指导播放器解码 H.264 视频帧数据 ;

1 . AAC 解码信息生成方法 : FAAC 编码器调用 faacEncGetDecoderSpecificInfo 方法 , 生成 AAC 音频解码信息 ;

2 . faacEncGetDecoderSpecificInfo 方法原型 :

#include <faac.h>int FAACAPI faacEncGetDecoderSpecificInfo(faacEncHandle hEncoder, unsigned char **ppBuffer,unsigned long *pSizeOfDecoderSpecificInfo);

① faacEncHandle hEncoder 参数 : FAAC 编码器 ;

② unsigned char **ppBuffer 参数 : 用于接收 FFAC 编码器编码生成的 AAC 解码信息 , 这是个二维指针 , 外部传入 , 当做返回值使用 ; 该值一般需要预先在外部定义 , 定义 unsigned char * 类型一维指针变量 , 或 unsigned char ** 类型二维指针变量 ;

③ unsigned long *pSizeOfDecoderSpecificInfo 参数 : 用于接收 FFAC 编码器编码生成的 AAC 解码信息 字节个数 , 当做返回值使用 ; 该值一般需要预先在外部定义 , 定义 unsigned long 类型变量 , 或 unsigned long* 类型变量 ;

后两个参数定义不同级别的指针类型 , 使用方法不同 , 但形式类似 , 都是用指针变量 , 传入地址作为参数 , 传入的指针当做返回值使用 ;

3 . 代码示例 :

    // 该指针用于接收获取的 FAAC 解码特殊信息unsigned char *pBuffer;// 该指针用于接收获取的 FAAC 解码特殊信息长度unsigned long sizeOfDecoderSpecificInfo;// 生成 FAAC 解码特殊信息数据faacEncGetDecoderSpecificInfo(mFaacEncHandle, &pBuffer, &sizeOfDecoderSpecificInfo);

二、 封装 RTMP 音频数据头

1 . 封装第 111 字节数据 : 第一个字节中封装了 444 部分数据 , 音频格式 , 采样率 , 采样位数 , 音频通道 ; 一般情况下是 AE , 或者 AF ;

① AF 含义 : AAC 格式 , 44100 Hz 采样 , 16 位采样位数 , 立体声 ;

② AE 含义 : AAC 格式 , 44100 Hz 采样 , 16 位采样位数 , 单声道 ;

参考博客 【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 ) 、四、 音频解码配置信息、 2. 第 11 字节 AF 数据解析 章节 , 有详细介绍这 888 位各代表的意义 ;

2 . 代码示例 :

    /*根据声道数生成相应的 文件头 标识AF / AE 头中的最后一位为 1 表示立体声, 为 0 表示单声道AF 是立体声AE 是单声道*/rtmpPacket->m_body[0] = 0xAF;   //默认立体声if (mChannelConfig == 1) {// 如果是单声道, 将该值修改成 AErtmpPacket->m_body[0] = 0xAE;}

三、 封装 RTMP 音频数据类型

AAC 音频数据类型 : 如果是编码的音频采样数据 , 类型是 01 , 如果是 AAC 解码信息 , 类型是 00 ; 这里是 00 类型 , AAC 音频解码信息类型 ;

    // 编码出的声音 都是 0x01, 头信息是 AF 01 数据// 如果是AAC 音频解码数据 , 那么头信息是 AF 00 数据rtmpPacket->m_body[1] = 0x00;

四、 拷贝 AAC 音频数据到 RTMPPacket 数据包中

之前调用 faacEncGetDecoderSpecificInfo 方法 , 生成了 AAC 音频解码信息 , 将生成的信息封装到 RTMPPacket 数据包中 , RTMP 数据包的大小是生成 AAC 解码信息大小 + 2 ; 多出的 2 字节数据是 AF 00 ;

    // 拷贝 AAC 音频数据到 RTMPPacket 数据包中memcpy(&rtmpPacket->m_body[2], pBuffer, sizeOfDecoderSpecificInfo);

五、 设置数据包大小

该数据包大小是 2 字节 , 加上 faacEncGetDecoderSpecificInfo 方法生成 的 AAC 解码数据大小 ;

2 字节是 AF 00 ;

    // 设置 RTMP 数据包大小rtmpPacket->m_nBodySize = rtmpPackagesize;

六、 设置绝对时间、数据类型、RTMP 通道、头类型

这些数据设置基本都是格式化的 , 按照如下设置即可 ;

    // 设置绝对时间, 一般设置 0 即可rtmpPacket->m_hasAbsTimestamp = 0;// 设置 RTMP 数据包大小rtmpPacket->m_nBodySize = rtmpPackagesize;// 设置 RTMP 包类型, 视频类型数据rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;// 分配 RTMP 通道, 该值随意设置, 建议在视频 H.264 通道基础上加 1rtmpPacket->m_nChannel = 0x11;// // 设置头类型, 随意设置一个rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;

七、 FAAC 编码器编码代码示例

/*** 获取音频解码信息* 推流音频数据时, 先发送解码信息包, 再推流 AAC 音频采样包* @return 音频解码数据包*/
RTMPPacket *AudioChannel::getAudioDecodeInfo() {/*下面的数据信息用于指导 AAC 数据如何进行解码类似于 H.264 视频信息中的 SPS 与  PPS 数据int FAACAPI faacEncGetDecoderSpecificInfo(faacEncHandle hEncoder,unsigned char **ppBuffer,unsigned long *pSizeOfDecoderSpecificInfo);*/// 该指针用于接收获取的 FAAC 解码特殊信息unsigned char *pBuffer;// 该指针用于接收获取的 FAAC 解码特殊信息长度unsigned long sizeOfDecoderSpecificInfo;// 生成 FAAC 解码特殊信息数据faacEncGetDecoderSpecificInfo(mFaacEncHandle, &pBuffer, &sizeOfDecoderSpecificInfo);// 组装 RTMP 数据包/*数据的大小 :前面有 2 字节头信息音频解码配置信息 : 前两位是 AF 00 , 指导 AAC 数据如何解码 ( 是这个 )音频采样信息 : 前两位是 AF 01 , 实际的 AAC 音频采样数据*/int rtmpPackagesize = 2 + sizeOfDecoderSpecificInfo;// 创建 RTMP 数据包对象RTMPPacket *rtmpPacket = new RTMPPacket;// 为 RTMP 数据包分配内存RTMPPacket_Alloc(rtmpPacket, rtmpPackagesize);/*根据声道数生成相应的 文件头 标识AF / AE 头中的最后一位为 1 表示立体声, 为 0 表示单声道AF 是立体声AE 是单声道*/rtmpPacket->m_body[0] = 0xAF;   //默认立体声if (mChannelConfig == 1) {// 如果是单声道, 将该值修改成 AErtmpPacket->m_body[0] = 0xAE;}// 编码出的声音 都是 0x01, 本方法是对音频数据进行编码的方法, 头信息肯定是 AF 01 数据// 数据肯定是 AAC 格式的采样数据rtmpPacket->m_body[1] = 0x00;// 拷贝 AAC 音频数据到 RTMPPacket 数据包中memcpy(&rtmpPacket->m_body[2], pBuffer, sizeOfDecoderSpecificInfo);// 设置绝对时间, 一般设置 0 即可rtmpPacket->m_hasAbsTimestamp = 0;// 设置 RTMP 数据包大小rtmpPacket->m_nBodySize = rtmpPackagesize;// 设置 RTMP 包类型, 视频类型数据rtmpPacket->m_packetType = RTMP_PACKET_TYPE_AUDIO;// 分配 RTMP 通道, 该值随意设置, 建议在视频 H.264 通道基础上加 1rtmpPacket->m_nChannel = 0x11;// // 设置头类型, 随意设置一个rtmpPacket->m_headerType = RTMP_PACKET_SIZE_LARGE;// 调用回调接口, 将该封装好的 RTMPPacket 数据包放入 native-lib 类中的 线程安全队列中// 这是个 RTMPPacketPackUpCallBack 类型的函数指针// 这里不回调, 直接返回 rtmpPacket//mRtmpPacketPackUpCallBack(rtmpPacket);return rtmpPacket;
}

【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频解码信息 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )相关推荐

  1. 【Android RTMP】音频数据采集编码 ( FAAC 编码器编码 AAC 音频采样数据 | 封装 RTMP 音频数据头 | 设置 AAC 音频数据类型 | 封装 RTMP 数据包 )

    文章目录 安卓直播推流专栏博客总结 一. FAAC 编码器编码 AAC 音频采样数据 二. 封装 RTMP 音频数据头 三. 封装 RTMP 音频数据类型 四. 拷贝 AAC 音频数据到 RTMPPa ...

  2. 【Android RTMP】音频数据采集编码 ( FAAC 头文件与静态库拷贝到 AS | CMakeList.txt 配置 FAAC | AudioRecord 音频采样 PCM 格式 )

    文章目录 安卓直播推流专栏博客总结 一. FAAC 头文件与静态库拷贝到 Android Studio 二. CMakeList.txt 构建脚本配置 三. Java 层 AudioRecord 音频 ...

  3. 【Android RTMP】音频数据采集编码 ( FAAC 音频编码参数设置 | FAAC 编码器创建 | 获取编码器参数 | 设置 AAC 编码规格 | 设置编码器输入输出参数 )

    文章目录 一. 头文件.成员变量准备 二. 创建 FAAC 编码器 三. 获取并设置 FAAC 编码器参数 四. 设置 FAAC 编码器编码标准 五. 设置 FAAC 编码器 AAC 编码规格 六. ...

  4. 【Android RTMP】音频数据采集编码 ( 音频数据采集编码 | AAC 高级音频编码 | FAAC 编码器 | Ubuntu 交叉编译 FAAC 编码器 )

    文章目录 安卓直播推流专栏博客总结 一. 音频数据采集.编码 二. AAC 高级音频编码 三. FAAC 编码器 四. Ubuntu 18.04.4 交叉编译 FAAC 编码器 安卓直播推流专栏博客总 ...

  5. 【Android RTMP】音频数据采集编码 ( AAC 音频格式解析 | FLV 音频数据标签解析 | AAC 音频数据标签头 | 音频解码配置信息 )

    文章目录 安卓直播推流专栏博客总结 一. AAC 音频格式解析 二. FLV 音频数据标签解析 1. 分析 FLV 格式中的 AAC 音频格式数据 2. AAC 音频特殊配置 3. AAC 音频数据标 ...

  6. 【Android FFMPEG 开发】FFMPEG 获取编解码器 ( 获取编解码参数 | 查找编解码器 | 获取编解码器上下文 | 设置上下文参数 | 打开编解码器 )

    文章目录 博客简介 . FFMPEG 编解码器获取流程 I . FFMPEG 获取音视频流的编解码参数 AVCodecParameters *codecpar II . FFMPEG 查找解码器 av ...

  7. 【Android RTMP】Android Camera 视频数据采集预览 ( 图像传感器方向设置 | Camera 使用流程 | 动态权限申请 )

    文章目录 安卓直播推流专栏博客总结 一. Camera 传感器方向简介 二. Camera 图像传感器横向显示数据 三. Camera 图像传感器纵向显示数据 四. 设置 Camera 预览数据方向 ...

  8. 【Android RTMP】Android Camera 视频数据采集预览 ( 视频采集相关概念 | 摄像头预览参数设置 | 摄像头预览数据回调接口 )

    文章目录 安卓直播推流专栏博客总结 一. Android 端数据采集涉及到的相关概念 二. Camera 预览图像尺寸设置 三. 获取摄像头采集的数据格式 安卓直播推流专栏博客总结 Android R ...

  9. AAC编解码原理概述

    一引言  本文对AAC(Advanced Audio Coding)音频编码算法进行总结.首先简要介绍MPEG音频(包括AAC)的发展历程及AAC概况,然后结合FAAC(Free AAC)的代码对AA ...

最新文章

  1. 简述BT下载技术及其公司发展现状
  2. React简单表单最佳实践
  3. Java学习笔记---接口
  4. 《少年先疯队》第九次团队作业：Beta冲刺与团队项目验收
  5. [css] 举例说明跟字体相关的属性有哪些
  6. mysql8添加索引_MySQL8.0新特性-新的索引方式
  7. Oracle 12c与GoldenGate 12c的一些问答
  8. 手机MODEM 开发（24）---93 modem如何打开GSM AMR-WB
  9. 祝贺自己的博客又一个关键字排名上去了
  10. jsmind 线条_jsMind思维导图模式展示数据
  11. nodejs怎么使用爬虫HTTP代理IP抓取数据
  12. APS系统在注塑行业的应用
  13. 简单的抢地盘js小游戏实战篇（多人在线对战）
  14. Velodyne获取PCAP文件时间戳
  15. 精通 Python OpenCV4：第二部分
  16. ubuntu20.04安装与卸载搜狗拼音输入法
  17. centos7笔记本触摸板单击无反应
  18. Opencv图像特征点提取(
  19. mysql 查询 及时间格式化
  20. 研究生项目狗自救指南

热门文章

  1. 802.1x认证协议的应用
  2. 【python技巧】“”、“”等符号操作
  3. [转载]秀脱linux实战笔记linux-kernel-3.0.3实战篇
  4. 解题报告 『生活大爆炸版石头剪刀布（模拟）』
  5. 如何让SQLServer的 itemNum 字段 按照数字大小顺序排序
  6. 201521123060 《Java程序设计》第10周学习总结
  7. java web基础1Tomcat服务器基本知识
  8. spring Transaction Propagation 事务传播
  9. 关于Java实现去除连续空格的延伸
  10. IE6Bug，外层container设置了overflow:auto，但是内层嵌套元素有position:relative的时候，显示错误。...