ffmpeg源码简析（八）解码 av_read_frame()，avcodec_decode_video2()，avformat_close

1.av_read_frame()

av_read_frame()的作用是读取码流中的音频若干帧或者视频一帧。例如，解码视频的时候，每解码一个视频帧，需要先调用 av_read_frame()获得一帧视频的压缩数据，然后才能对该数据进行解码（例如H.264中一帧压缩数据通常对应一个NAL）。

通过av_read_packet(***)，读取一个包，需要说明的是此函数必须是包含整数帧的，不存在半帧的情况，以ts流为例，是读取一个完整的PES包（一个完整pes包包含若干视频或音频es包），读取完毕后，通过av_parser_parse2(***)分析出视频一帧（或音频若干帧），返回，下次进入循环的时候，如果上次的数据没有完全取完，则st = s->cur_st;不会是NULL，即再此进入av_parser_parse2(***)流程，而不是下面的av_read_packet（**）流程，这样就保证了，如果读取一次包含了N帧视频数据（以视频为例），则调用av_read_frame（***）N次都不会去读数据，而是返回第一次读取的数据，直到全部解析完毕。

av_read_frame()的声明位于libavformat\avformat.h，如下所示。

int av_read_frame(AVFormatContext *s, AVPacket *pkt);

av_read_frame()使用方法在注释中写得很详细，用中文简单描述一下它的两个参数：

s：输入的AVFormatContextpkt：输出的AVPacket

如果返回0则说明读取正常。

av_read_frame()的定义位于libavformat\utils.c，如下所示：

    //获取一个AVPacket  /* * av_read_frame - 新版本的ffmpeg用的是av_read_frame，而老版本的是av_read_packet * 。区别是av_read_packet读出的是包，它可能是半帧或多帧，不保证帧的完整性。av_read_frame对 * av_read_packet进行了封装，使读出的数据总是完整的帧 */  int av_read_frame(AVFormatContext *s, AVPacket *pkt)  {  const int genpts = s->flags & AVFMT_FLAG_GENPTS;  int          eof = 0;  if (!genpts)  /** * This buffer is only needed when packets were already buffered but * not decoded, for example to get the codec parameters in MPEG * streams. * 一般情况下会调用read_frame_internal(s, pkt) * 直接返回 */  return s->packet_buffer ? read_from_packet_buffer(s, pkt) :  read_frame_internal(s, pkt);  for (;;) {  int ret;  AVPacketList *pktl = s->packet_buffer;  if (pktl) {  AVPacket *next_pkt = &pktl->pkt;  if (next_pkt->dts != AV_NOPTS_VALUE) {  int wrap_bits = s->streams[next_pkt->stream_index]->pts_wrap_bits;  while (pktl && next_pkt->pts == AV_NOPTS_VALUE) {  if (pktl->pkt.stream_index == next_pkt->stream_index &&  (av_compare_mod(next_pkt->dts, pktl->pkt.dts, 2LL << (wrap_bits - 1)) < 0) &&  av_compare_mod(pktl->pkt.pts, pktl->pkt.dts, 2LL << (wrap_bits - 1))) { //not b frame  next_pkt->pts = pktl->pkt.dts;  }  pktl = pktl->next;  }  pktl = s->packet_buffer;  }  /* read packet from packet buffer, if there is data */  if (!(next_pkt->pts == AV_NOPTS_VALUE &&  next_pkt->dts != AV_NOPTS_VALUE && !eof))  return read_from_packet_buffer(s, pkt);  }  ret = read_frame_internal(s, pkt);  if (ret < 0) {  if (pktl && ret != AVERROR(EAGAIN)) {  eof = 1;  continue;  } else  return ret;  }  if (av_dup_packet(add_to_pktbuf(&s->packet_buffer, pkt,  &s->packet_buffer_end)) < 0)  return AVERROR(ENOMEM);  }  }

可以从源代码中看出，av_read_frame()调用了read_frame_internal()。

read_frame_internal()
read_frame_internal()代码比较长，这里只简单看一下它前面的部分。它前面部分有2步是十分关键的：

（1）调用了ff_read_packet()从相应的AVInputFormat读取数据。

（2）如果媒体频流需要使用AVCodecParser，则调用parse_packet()解析相应的AVPacket。

下面我们分成分别看一下ff_read_packet()和parse_packet()

ff_read_packet()
ff_read_packet()中最关键的地方就是调用了AVInputFormat的read_packet()方法。AVInputFormat的read_packet()是一个函数指针，指向当前的AVInputFormat的读取数据的函数。

flv_read_packet()

flv_read_packet()的定义位于libavformat\flvdec.c
它的主要功能就是根据(FLV)文件格式的规范，逐层解析(Tag)以及(TagData)，获取Tag以及TagData中的信息。

parse_packet()

parse_packet()给需要AVCodecParser的媒体流提供解析AVPacket的功能
最终调用了相应AVCodecParser的av_parser_parse2()函数，解析出来AVPacket。此后根据解析的信息还进行了一系列的赋值工作

2.avcodec_decode_video2()

avcodec_decode_video2()的作用是解码一帧视频数据。输入一个压缩编码的结构体AVPacket，输出一个解码后的结构体AVFrame。该函数的声明位于libavcodec\avcodec.h

int avcodec_decode_video2(AVCodecContext *avctx, AVFrame *picture,  int *got_picture_ptr,  const AVPacket *avpkt);

源代码位于libavcodec\utils.c，如下所示：

    int attribute_align_arg avcodec_decode_video2(AVCodecContext *avctx, AVFrame *picture,  int *got_picture_ptr,  const AVPacket *avpkt)  {  AVCodecInternal *avci = avctx->internal;  int ret;  // copy to ensure we do not change avpkt  AVPacket tmp = *avpkt;  if (!avctx->codec)  return AVERROR(EINVAL);  //检查是不是视频（非音频）  if (avctx->codec->type != AVMEDIA_TYPE_VIDEO) {  av_log(avctx, AV_LOG_ERROR, "Invalid media type for video\n");  return AVERROR(EINVAL);  }  *got_picture_ptr = 0;  //检查宽、高设置是否正确  if ((avctx->coded_width || avctx->coded_height) && av_image_check_size(avctx->coded_width, avctx->coded_height, 0, avctx))  return AVERROR(EINVAL);  av_frame_unref(picture);  if ((avctx->codec->capabilities & CODEC_CAP_DELAY) || avpkt->size || (avctx->active_thread_type & FF_THREAD_FRAME)) {  int did_split = av_packet_split_side_data(&tmp);  ret = apply_param_change(avctx, &tmp);  if (ret < 0) {  av_log(avctx, AV_LOG_ERROR, "Error applying parameter changes.\n");  if (avctx->err_recognition & AV_EF_EXPLODE)  goto fail;  }  avctx->internal->pkt = &tmp;  if (HAVE_THREADS && avctx->active_thread_type & FF_THREAD_FRAME)  ret = ff_thread_decode_frame(avctx, picture, got_picture_ptr,  &tmp);  else {  //最关键的解码函数  ret = avctx->codec->decode(avctx, picture, got_picture_ptr,  &tmp);  //设置pkt_dts字段的值  picture->pkt_dts = avpkt->dts;  if(!avctx->has_b_frames){  av_frame_set_pkt_pos(picture, avpkt->pos);  }  //FIXME these should be under if(!avctx->has_b_frames)  /* get_buffer is supposed to set frame parameters */  if (!(avctx->codec->capabilities & CODEC_CAP_DR1)) {  //对一些字段进行赋值  if (!picture->sample_aspect_ratio.num)    picture->sample_aspect_ratio = avctx->sample_aspect_ratio;  if (!picture->width)                      picture->width               = avctx->width;  if (!picture->height)                     picture->height              = avctx->height;  if (picture->format == AV_PIX_FMT_NONE)   picture->format              = avctx->pix_fmt;  }  }  add_metadata_from_side_data(avctx, picture);  fail:  emms_c(); //needed to avoid an emms_c() call before every return;  avctx->internal->pkt = NULL;  if (did_split) {  av_packet_free_side_data(&tmp);  if(ret == tmp.size)  ret = avpkt->size;  }  if (*got_picture_ptr) {  if (!avctx->refcounted_frames) {  int err = unrefcount_frame(avci, picture);  if (err < 0)  return err;  }  avctx->frame_number++;  av_frame_set_best_effort_timestamp(picture,  guess_correct_pts(avctx,  picture->pkt_pts,  picture->pkt_dts));  } else  av_frame_unref(picture);  } else  ret = 0;  /* many decoders assign whole AVFrames, thus overwriting extended_data; * make sure it's set correctly */  av_assert0(!picture->extended_data || picture->extended_data == picture->data);  #if FF_API_AVCTX_TIMEBASE  if (avctx->framerate.num > 0 && avctx->framerate.den > 0)  avctx->time_base = av_inv_q(av_mul_q(avctx->framerate, (AVRational){avctx->ticks_per_frame, 1}));  #endif  return ret;  }

从代码中可以看出，avcodec_decode_video2()主要做了以下几个方面的工作：

（1）对输入的字段进行了一系列的检查工作：例如宽高是否正确，输入是否为视频等等。

（2）通过ret = avctx->codec->decode(avctx, picture, got_picture_ptr,&tmp)这句代码，调用了相应AVCodec的decode()函数，完成了解码操作。

（3）对得到的AVFrame的一些字段进行了赋值，例如宽高、像素格式等等。

其中第二部是关键的一步，它调用了AVCodec的decode()方法完成了解码。AVCodec的decode()方法是一个函数指针，指向了具体解码器的解码函数。在这里我们以H.264解码器为例，看一下解码的实现过程。H.264解码器对应的AVCodec的定义位于libavcodec\h264.c

3.avformat_close_input()

avformat_close_input()函数。该函数用于关闭一个AVFormatContext，一般情况下是和avformat_open_input()成对使用的。
声明位于libavformat\avformat.h，如下所示

void avformat_close_input(AVFormatContext **s);

下面看一下avformat_close_input()的源代码，位于libavformat\utils.c文件中。

oid avformat_close_input(AVFormatContext **ps)
{  AVFormatContext *s;  AVIOContext *pb;  if (!ps || !*ps)  return;  s  = *ps;  pb = s->pb;  if ((s->iformat && strcmp(s->iformat->name, "image2") && s->iformat->flags & AVFMT_NOFILE) ||  (s->flags & AVFMT_FLAG_CUSTOM_IO))  pb = NULL;  flush_packet_queue(s);  if (s->iformat)  if (s->iformat->read_close)  s->iformat->read_close(s);  avformat_free_context(s);  *ps = NULL;  avio_close(pb);
}

从源代码中可以看出，avformat_close_input()主要做了以下几步工作：

（1）调用AVInputFormat的read_close()方法关闭输入流
（2）调用avformat_free_context()释放AVFormatContext
（3）调用avio_close()关闭并且释放AVIOContext