最简单的iOS 推流代码，视频捕获，软编码(faac，x264)，硬编码（aac，h264），美颜，flv编码，rtmp协议，陆续更新代码解析，你想学的知识这里都有，愿意懂直播技术的同学快来看！！

源代码：https://github.com/hardman/AWLive

简述sps/pps/AudioSpecificConfig

前文中已经多次提到过sps&pps/AudioSpecificConfig。

sps&pps是h264中的概念，它包含了一些编码信息，如profile，图像尺寸等信息。在flv中，包含sps&pps的部分被称为 AVC Sequence header（即AVCDecoderConfigurationRecord，参考ISO-14496-15 AVC file format）。

AudioSpecificConfig是aac中的概念，它包含了音频信息，如采样率，声道数等信息。在flv中包含AudioSpecificConfig的部分被称为 AAC Sequence header（即AudioSpecificConfig，参考ISO-14496-3 Audio）。

这两种数据格式可参考标准文档或者网络上的博文，这里只介绍一下在硬编码/软编码的情况下，如何获取并处理这些数据。

可以看出，这两个概念其实就是编码的一个配置文件，保存的是后续音视频数据的一些公共属性。

sps&pps

h264编码后，能够直接获取sps&pps数据。

软编码获取sps&pps数据的代码在aw_x264.c中

//软编码x264获取sps&pps数据
static void aw_encode_x264_header(aw_x264_context *aw_ctx){//主要就是libx264中的此方法x264_encoder_headers(aw_ctx->x264_handler, &aw_ctx->nal, &aw_ctx->nal_count);//将获取到的sps&pps数据取出来，保存到aw_ctx->sps_pps_data中//保存sps pps datauint8_t *sps_bytes = NULL;int8_t sps_len = 0;uint8_t *pps_bytes = NULL;int8_t pps_len = 0;int i = 0;for (; i < aw_ctx->nal_count; i++) {if (aw_ctx->nal[i].i_type == NAL_SPS) {sps_bytes = (uint8_t *)aw_ctx->nal[i].p_payload + 4;sps_len = aw_ctx->nal[i].i_payload - 4;}else if(aw_ctx->nal[i].i_type == NAL_PPS){pps_bytes = (uint8_t *)aw_ctx->nal[i].p_payload + 4;pps_len = aw_ctx->nal[i].i_payload - 4;}}aw_data *avc_decoder_record = aw_create_sps_pps_data(sps_bytes, sps_len, pps_bytes, pps_len);memcpy_aw_data(&aw_ctx->sps_pps_data, avc_decoder_record->data, avc_decoder_record->size);free_aw_data(&avc_decoder_record);
}

硬编码的sps&pps数据能够通过关键帧获取。代码在AWHWH264Encoder.m中

//硬编码h264获取sps&pps数据
static void vtCompressionSessionCallback (void * CM_NULLABLE outputCallbackRefCon,void * CM_NULLABLE sourceFrameRefCon,OSStatus status,VTEncodeInfoFlags infoFlags,CM_NULLABLE CMSampleBufferRef sampleBuffer ){... ...... ...//是否是关键帧，关键帧和非关键帧要区分清楚。推流时也要注明。BOOL isKeyFrame = !CFDictionaryContainsKey( (CFArrayGetValueAtIndex(CMSampleBufferGetSampleAttachmentsArray(sampleBuffer, true), 0)), kCMSampleAttachmentKey_NotSync);//首先获取sps 和pps//sps pss 也是h264的一部分，可以认为它们是特别的h264视频帧，保存了h264视频的一些必要信息。//没有这部分数据h264视频很难解析出来。//数据处理时，sps pps 数据可以作为一个普通h264帧，放在h264视频流的最前面。BOOL needSpsPps = NO;//这里判断一下只取一次sps&pps即可if (!encoder.spsPpsData) {if (isKeyFrame) {//获取avcC，这就是我们想要的sps和pps数据。//如果保存到文件中，需要将此数据前加上 [0 0 0 1] 4个字节，写入到h264文件的最前面。//如果推流，将此数据放入flv数据区即可。CMFormatDescriptionRef sampleBufFormat = CMSampleBufferGetFormatDescription(sampleBuffer);NSDictionary *dict = (__bridge NSDictionary *)CMFormatDescriptionGetExtensions(sampleBufFormat);encoder.spsPpsData = dict[@"SampleDescriptionExtensionAtoms"][@"avcC"];}needSpsPps = YES;}... ... ... ...

成功获取sps&pps数据后，可通过aw_sw_x264_encoder.c中的方法aw_encoder_create_sps_pps_tag创建对应的video tag，之后可直接像普通video tag一样发送。

//创建sps_pps_tag
extern aw_flv_video_tag *aw_encoder_create_sps_pps_tag(aw_data *sps_pps_data){//创建普通video tagaw_flv_video_tag *sps_pps_tag = aw_sw_encoder_create_flv_video_tag();//关键帧sps_pps_tag->frame_type = aw_flv_v_frame_type_key;//package类型，固定的写0即可sps_pps_tag->h264_package_type = aw_flv_v_h264_packet_type_seq_header;//cts写0sps_pps_tag->h264_composition_time = 0;//sps&pps数据，数据上同真实video tag的h264数据放同一个位置sps_pps_tag->config_record_data = copy_aw_data(sps_pps_data);//pts写0sps_pps_tag->common_tag.timestamp = 0;//数据总长度sps_pps_tag->common_tag.data_size = sps_pps_data->size + 11 + sps_pps_tag->common_tag.header_size;//返回return sps_pps_tag;
}

AudioSpecificConfig

aac软编码库faac初始化之后，能够直接获取AudioSpecificConfig数据，在aw_faac.c中。

static void aw_open_faac_enc_handler(aw_faac_context *faac_ctx){//开启faacfaac_ctx->faac_handler = faacEncOpen(faac_ctx->config.sample_rate, faac_ctx->config.channel_count, &faac_ctx->max_input_sample_count, &faac_ctx->max_output_byte_count);... ...... ...//配置好faacfaacEncSetConfiguration(faac_ctx->faac_handler, faac_config);//主要通过此方法获取AudioSpecificConfig，audio_specific_data就是想要的数据uint8_t *audio_specific_data = NULL;unsigned long audio_specific_data_len = 0;faacEncGetDecoderSpecificInfo(faac_ctx->faac_handler, &audio_specific_data, &audio_specific_data_len);... ...}

另外，AudioSpecificConfig数据结构很简单，可以自己简单构造一份。可参考AWHWAACEncoder.m中的createAudioSpecificConfigFlvTag函数。

-(aw_flv_audio_tag *)createAudioSpecificConfigFlvTag{//AudioSpecificConfig中包含3种元素：profile，sampleRate，channelCount//结构是：profile(5bit)-sampleRate(4bit)-channelCount(4bit)-空(3bit)uint8_t profile = kMPEG4Object_AAC_LC;uint8_t sampleRate = 4;uint8_t chanCfg = 1;uint8_t config1 = (profile << 3) | ((sampleRate & 0xe) >> 1);uint8_t config2 = ((sampleRate & 0x1) << 7) | (chanCfg << 3);//写入config_data中aw_data *config_data = NULL;data_writer.write_uint8(&config_data, config1);data_writer.write_uint8(&config_data, config2);... ...... ...
}

拿到AudioSpecificConfig数据后，可通过aw_sw_faac_encoder.c中的aw_encoder_create_audio_specific_config_tag来创建对应的flv audio tag，之后可像正常audio tag一样发送。

extern aw_flv_audio_tag *aw_encoder_create_audio_specific_config_tag(aw_data *audio_specific_config_data, aw_faac_config *faac_config){//创建普通的audio tagaw_flv_audio_tag *audio_tag = aw_sw_encoder_create_flv_audio_tag(faac_config);//AudioSpecificConfig数据，同正常的audio tag在相同位置audio_tag->config_record_data = copy_aw_data(audio_specific_config_data);//时间戳0audio_tag->common_tag.timestamp = 0;//整个tag长度audio_tag->common_tag.data_size = audio_specific_config_data->size + 11 + audio_tag->common_tag.header_size;return audio_tag;
}

rtmp连接成功后，一定要先发送sps&pps和AudioSpecificConfig这两个数据对应的tag，否则视频是播放不出来的。

文章列表

1小时学会：最简单的iOS直播推流（一）项目介绍
1小时学会：最简单的iOS直播推流（二）代码架构概述
1小时学会：最简单的iOS直播推流（三）使用系统接口捕获音视频
1小时学会：最简单的iOS直播推流（四）如何使用GPUImage，如何美颜
1小时学会：最简单的iOS直播推流（五）yuv、pcm数据的介绍和获取
1小时学会：最简单的iOS直播推流（六）h264、aac、flv介绍
1小时学会：最简单的iOS直播推流（七）h264/aac 硬编码
1小时学会：最简单的iOS直播推流（八）h264/aac 软编码
1小时学会：最简单的iOS直播推流（九）flv 编码与音视频时间戳同步
1小时学会：最简单的iOS直播推流（十）librtmp使用介绍
1小时学会：最简单的iOS直播推流（十一）sps&pps和AudioSpecificConfig介绍（完结）

1小时学会：最简单的iOS直播推流（十一）spspps和AudioSpecificConfig介绍（完结）相关推荐

1小时学会：最简单的iOS直播推流（十）librtmp使用介绍
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（八）h264/aac 软编码
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（七）h264/aac 硬编码
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（六）h264、aac、flv介绍
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（五）yuv、pcm数据的介绍和获取
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（四）如何使用GPUImage，如何美颜
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（三）使用系统接口捕获音视频数据
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（二）代码架构概述
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...
1小时学会：最简单的iOS直播推流（一）介绍
最简单的iOS 推流代码,视频捕获,软编码(faac,x264),硬编码(aac,h264),美颜,flv编码,rtmp协议,陆续更新代码解析,你想学的知识这里都有,愿意懂直播技术的同学快来看!! 源 ...

1小时学会：最简单的iOS直播推流（十一）spspps和AudioSpecificConfig介绍（完结）

简述sps/pps/AudioSpecificConfig

sps&pps

AudioSpecificConfig

文章列表

1小时学会：最简单的iOS直播推流（十一）spspps和AudioSpecificConfig介绍（完结）相关推荐

最新文章

热门文章