ffmpeg filter 实现画面旋转

工作中发现一个问题：手机设备在拍摄视频时，是通过竖屏拍摄，文件存放时的缩略图也是竖屏

但是在做播放器时，没经过处理的播放器会发现播放时是横着的。

VLC是竖屏的

但是其分辨率却是横屏的格式。

究其原因是因为存放时确实是按照横着来存放的，但是在mp4中会有一个参数标志着播放时需要旋转的角度。rotate。

1.如何找到标志着需要旋转的角度：

在文件格式描述符AVFormatContext的AVStream中有个源数据metadata，用来描述文件的响应信息，将其打印出来发现会有相对应操作的参数，其中就有rotate参数。

AVStream *stream = m_pVideoAVSt;
AVDictionaryEntry *m = NULL;
while ((m = av_dict_get(stream->metadata, "", m, AV_DICT_IGNORE_SUFFIX)) != NULL)
{printf("Metadata: Key:%s , value:%s\n", m->key, m->value);
}

可以看到旋转的角度是90度。那既然信息已经得到，就寻找方法开搞。

2.用什么方法进行旋转

查找了一下ffmpeg对于播放时旋转画面的操作：

ffmpeg -i fan.jpg -vf transpose=2 -y transpose2.png

ok，既然ffmpeg有相对应的指令去操作，那就有相对应的方法去操作。

查找了一下，发现-vf是添加滤镜的意思，发现ffmpeg库中有个叫avfilter的东西，其实就是过滤器。

3.使用ffmpeg过滤器旋转

可以通过多个过滤器/滤镜对视频或音频进行处理，导出一个或者多个视频或音频。
滤镜的功能很强大，可以加字幕、长度剪切、缩放、画面剪裁、加水印、拼接视频或音频、对画面进行旋转或者镜像处理、加黑边、调音量。

而这里对于视频的旋转，因为画面旋转成竖屏，所以需要两边加个黑边，只需要两个滤镜就够了。

（1）在播放开始前，判断是否旋转，并且旋转多少度，创建过滤器：
头文件：

#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libavfilter/avfilter.h>
#include <libavfilter/buffersink.h>
#include <libavfilter/buffersrc.h>
#include <libavutil/opt.h>
#include <libavutil/imgutils.h>

         AVStream *stream = m_pVideoAVSt;AVDictionaryEntry *m = NULL;while ((m = av_dict_get(stream->metadata, "", m, AV_DICT_IGNORE_SUFFIX)) != NULL){printf("Metadata: Key:%s , value:%s\n", m->key, m->value);if (strcmp(m->key, "rotate") == 0){m_bRotate = true;//strcpy(m_pRotateAngle, m->value);if (strcmp(m->value, "90") == 0){//顺时针旋转90度，并在视频左右两边填充相对应像素的黑边int difference = abs(m_pVideoCodecCtx->height - m_pVideoCodecCtx->width);char args[512];_snprintf(args, sizeof(args),"transpose=clock,pad=iw+%d:ih:%d", difference, difference/2);FilterInit(args);}else if (strcmp(m->value, "-90") == 0){//逆时针旋转90度，并在视频左右两边填充相对应像素的黑边int difference = abs(m_pVideoCodecCtx->height - m_pVideoCodecCtx->width);char args[512];_snprintf(args, sizeof(args), "transpose=cclock,pad=iw+%d:ih:%d", difference, difference / 2);FilterInit(args);}}}

其中transpose取值：
0 = 90CounterCLockwise and Vertical Flip (default) 逆时针和垂直翻转
1 = 90Clockwise 顺时针旋转
2 = 90CounterClockwise 逆时针旋转
3 = 90Clockwise and Vertical Flip 顺时针和垂直翻转
也可以用这种方式设置。
这里填充黑边用宽度和高度差来进行填充。

int32_t FilterInit(const char *filters_descr)
{/*** 注冊全部AVFilter*/avfilter_register_all();char args[512];int ret = 0;const AVFilter *buffersrc = avfilter_get_by_name("buffer");const AVFilter *buffersink = avfilter_get_by_name("buffersink");AVFilterInOut *outputs = avfilter_inout_alloc();AVFilterInOut *inputs = avfilter_inout_alloc();enum AVPixelFormat pix_fmts[] = { AV_PIX_FMT_YUV420P, AV_PIX_FMT_NONE };//为FilterGraph分配内存filter_graph = avfilter_graph_alloc();if (!outputs || !inputs || !filter_graph) {ret = AVERROR(ENOMEM);goto freefilter;}/*** 要填入正确的參数*/_snprintf(args, sizeof(args),"video_size=%dx%d:pix_fmt=%d:time_base=%d/%d:pixel_aspect=%d/%d",m_pVideoCodecCtx->width, m_pVideoCodecCtx->height, m_pVideoCodecCtx->pix_fmt,m_pVideoCodecCtx->time_base.num, m_pVideoCodecCtx->time_base.den,m_pVideoCodecCtx->sample_aspect_ratio.num, m_pVideoCodecCtx->sample_aspect_ratio.den);//创建并向FilterGraph中加入一个Filterret = avfilter_graph_create_filter(&buffersrc_ctx, buffersrc, "in", args, NULL, filter_graph);if (ret < 0) {printf("Cannot create buffer source\n");goto freefilter;}//创建并向FilterGraph中加入一个Filterret = avfilter_graph_create_filter(&buffersink_ctx, buffersink, "out", NULL, NULL, filter_graph);if (ret < 0) {printf("Cannot create buffer sink\n");goto freefilter;}ret = av_opt_set_int_list(buffersink_ctx, "pix_fmts", pix_fmts, AV_PIX_FMT_NONE, AV_OPT_SEARCH_CHILDREN);if (ret < 0) {printf("Cannot set output pixel format\n");goto freefilter;}outputs->name = av_strdup("in");outputs->filter_ctx = buffersrc_ctx;outputs->pad_idx = 0;outputs->next = NULL;inputs->name = av_strdup("out");inputs->filter_ctx = buffersink_ctx;inputs->pad_idx = 0;inputs->next = NULL;//将一串通过字符串描写叙述的Graph加入到FilterGraph中if ((ret = avfilter_graph_parse_ptr(filter_graph, filters_descr, &inputs, &outputs, NULL)) < 0) {printf("parse ptr error\n");goto freefilter;}//检查FilterGraph的配置if ((ret = avfilter_graph_config(filter_graph, NULL)) < 0) {printf("parse config error\n");goto freefilter;}//缓存frame。用来保存filter后的frameFilterFrame = av_frame_alloc();//uint8_t *out_buffer = (uint8_t *) av_malloc(av_image_get_buffer_size(pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1));//av_image_fill_arrays(new_frame->data, new_frame->linesize, out_buffer, pCodecCtx->pix_fmt, pCodecCtx->width, pCodecCtx->height, 1);freefilter:avfilter_inout_free(&inputs);avfilter_inout_free(&outputs);return ret;
}

这里用goto是方便大家在一个函数里看，写上代码时还是用另一个函数来释放，尽量别用goto。

（2）创建完过滤器之后在获取每一帧时，对每一个解码出来的AVFrame进行处理

         if (m_bRotate == true){//向FilterGraph中加入一个AVFrameret = av_buffersrc_add_frame(buffersrc_ctx, m_pVideoFrame);if (ret >= 0) {//从FilterGraph中取出一个AVFrameret = av_buffersink_get_frame(buffersink_ctx, FilterFrame);if (ret >= 0) {printf("get AVFrame success");}else {printf("Error while getting the filtergraph\n");}}else {printf("Error while feeding the filtergraph\n");}}

记得每次对该帧AVFrame播放完后对FilterFrame和videoFrame进行清空。

     av_frame_unref(m_pVideoFrame);if(m_bRotate == true)av_frame_unref(FilterFrame);

就可以得到旋转后的画面已经填充黑边的效果了。