音视频同步原理[ffmpeg]

音视频同步原理[ffmpeg]

output_example.c 中AV同步的代码如下(我的代码有些修改)，这个实现相当简单，不过挺说明问题。
阅读前希望大家先了解一下时间戳的概念。
/* compute current audio and video time */
if (pOutputVars->pOutAudio_st)//存在音频流pOutputVars->audio_pts = (double)pOutputVars->pOutAudio_st->pts.val * pOutputVars->pOutAudio_st->time_base.num / pOutputVars- >pOutAudio_st->time_base.den; //(pts是时间戳结构)输出音频的时间戳, 转换为基准时间
elsepOutputVars->audio_pts = 0.0;
if (pOutputVars->pOutVideo_st)pOutputVars->video_pts = (double)pOutputVars->pOutVideo_st->pts.val * pOutputVars->pOutVideo_st->time_base.num / pOutputVars- >pOutVideo_st->time_base.den;//输出视频时间戳
elsepOutputVars->video_pts = 0.0;
if (!pOutputVars->pOutAudio_st && !pOutputVars->pOutVideo_st)return 0;
/* write interleaved audio and video frames */
if (!pOutputVars->pOutVideo_st || (pOutputVars->pOutVideo_st && pOutputVars->pOutAudio_st && pOutputVars->audio_pts < pOutputVars->video_pts)) {write_audio_frame(pOutputVars->pOutFormatCtx, pOutputVars->pOutAudio_st, pInputAudioBuf);//没有视频流，或者音频流时间没赶上视频流
（通过比较时间戳), 则输出（编码输出）音频祯数据} else {write_video_frame(pOutputVars->pOutFormatCtx, pOutputVars->pOutVideo_st, pInputVedioFrame);//否则输出视频祯数据
}
输出数据的时间戳怎么得到的, 以音频为例:pkt.size= avcodec_encode_audio(c, audio_outbuf, audio_outbuf_size, pInputAudioBuf);//源数据应该包含时间戳, pInputAudio是源文
件解码后的音频数据pkt.pts= av_rescale_q(c->coded_frame->pts, c->time_base, st->time_base);//编码后的祯也含有源文件的时间戳，这个函数应该是转换同时
间基准，没研究过pkt.flags |= PKT_FLAG_KEY;pkt.stream_index= st->index;pkt.data= audio_outbuf;
...
应该就是这么个过程了，然后用av_write_frame(oc, &pkt), 把音频祯和视频祯交错写入到输出文件. 通过上面分析，可以看到，有时候可能连续写几个音频
祯或视频祯.
播放时的同步可能ffplay中有，还没细看
output_example.c 中AV同步的代码如下(我的代码有些修改)，这个实现相当简单，不过挺说明问题。
阅读前希望大家先了解一下时间戳的概念。
/* compute current audio and video time */
if (pOutputVars->pOutAudio_st)//存在音频流pOutputVars->audio_pts = (double)pOutputVars->pOutAudio_st->pts.val * pOutputVars->pOutAudio_st->time_base.num / pOutputVars- >pOutAudio_st->time_base.den; //(pts是时间戳结构)输出音频的时间戳, 转换为基准时间
elsepOutputVars->audio_pts = 0.0;
if (pOutputVars->pOutVideo_st)pOutputVars->video_pts = (double)pOutputVars->pOutVideo_st->pts.val * pOutputVars->pOutVideo_st->time_base.num / pOutputVars- >pOutVideo_st->time_base.den;//输出视频时间戳
elsepOutputVars->video_pts = 0.0;
if (!pOutputVars->pOutAudio_st && !pOutputVars->pOutVideo_st)return 0;
/* write interleaved audio and video frames */
if (!pOutputVars->pOutVideo_st || (pOutputVars->pOutVideo_st && pOutputVars->pOutAudio_st && pOutputVars->audio_pts < pOutputVars->video_pts)) {write_audio_frame(pOutputVars->pOutFormatCtx, pOutputVars->pOutAudio_st, pInputAudioBuf);//没有视频流，或者音频流时间没赶上视频流
（通过比较时间戳), 则输出（编码输出）音频祯数据} else {write_video_frame(pOutputVars->pOutFormatCtx, pOutputVars->pOutVideo_st, pInputVedioFrame);//否则输出视频祯数据
}
输出数据的时间戳怎么得到的, 以音频为例:pkt.size= avcodec_encode_audio(c, audio_outbuf, audio_outbuf_size, pInputAudioBuf);//源数据应该包含时间戳, pInputAudio是源文
件解码后的音频数据pkt.pts= av_rescale_q(c->coded_frame->pts, c->time_base, st->time_base);//编码后的祯也含有源文件的时间戳，这个函数应该是转换同时
间基准，没研究过

音视频同步原理[ffmpeg]相关推荐

音视频同步原理解析；音频编码和解码原理
视频流中的DTS/PTS到底是什么? DTS(解码时间戳)和PTS(显示时间戳)分别是解码器进行解码和显示帧时相对于SCR(系统参考)的时间戳.SCR可以理解为解码器应该开始从磁盘读取数据时的时间. ...
ffmpeg源码中ffplay音视频同步原理及实现
音视频指南文章目录音视频指南前言一.音视频同步简单介绍? 二.基本概念解释 1.为什么需要视频压缩 2.什么是I帧.p帧.b帧 3.什么是DTS,PTS 4.其他概念解释三.常用同步策略四 ...
音视频同步原理及实现
本文主要描述音视频同步原理,及常见的音视频同步方案,并以代码示例,展示如何以音频的播放时长为基准,将视频同步到音频上以实现视音频的同步播放.内容如下: 1.音视频同步简单介绍 2.DTS和PTS简介 ...
录像音视频同步原理分析及PTS计算公式
图解分析音视频同步要分别保证开始的PTS一样,PTS是控制帧的显示时间的,所以要实现音视频同步必须分别设置音视频的PTS. 注:音.视频最后一帧的PTS时刻不一定相同. 1. 视频时间戳计算 pts ...
【Android音视频开发】【020】音视频同步原理
音视频不同步现象由于视频解码和显示,非常消耗性能,所以视频帧无法和音频帧一样,保证每一帧都能严格准时播放在现有技术和硬件条件下,任何库都无法百分百保证音视频同步,只能尽力保证误差最小同步方案一 ...
MPEG2-TS音视频同步原理
一.引言 MPEG2系统用于视音频同步以及系统时钟恢复的时间标签分别在ES,PES和TS这3个层次中. 在TS 层, TS头信息包含了节目时钟参考PCR(Program Clock Referen ...
MPEG2-TS音视频同步原理(PCR dts pts)
一.引言 MPEG2系统用于视音频同步以及系统时钟恢复的时间标签分别在ES,PES和TS这3个层次中. 在TS 层, TS头信息包含了节目时钟参考PCR(Program Clock Referen ...
音视频同步 ffmpeg 推流
音视频同步原理及实现可参考: https://blog.csdn.net/myvest/article/details/97416415 https://www.jianshu.com/p/3578 ...
视频【解码】原理（播放器原理），音视频同步等
1.视频编码格式:H264, VC-1, MPEG-2, MPEG4-ASP (Divx/Xvid), VP8, MJPEG 等. 2.音频编码格式:AAC, AC3, DTS(-HD), True ...

音视频同步原理[ffmpeg]

音视频同步原理[ffmpeg]相关推荐

最新文章

热门文章