尽管这些年arm发展取得了不少的进步，不过对于音视频的编解码仍然心有余力不足，好在芯片厂家在SOC里面提供了硬件加速能力。善于发挥出芯片的能力，才能打造出完美的应用.今天我们一起来探索一下rk3568上的为我们提供的多媒体加速能力-MPP，然后一起分析一下rk的gstreamer插件。

MPP

概述

瑞芯微提供的媒体处理软件平台（ Media Process Platform ，简称 MPP ）是适用于瑞芯微芯片系列的通用媒体处理软件平台。该平台对应用软件屏蔽了芯片相关的复杂底层处理，其目的是为了屏蔽不同芯片的差异，为使用者提供统一的视频媒体处理接口（Media Process Interface ，缩写 MPI ）。 MPP 提供的功能包括：

视频解码

 H.265 / H.264 / H.263 / VP9 / VP8 / MPEG-4 / MPEG-2 / MPEG-1 / VC1 / MJPEG

视频编码

 H.264 / VP8 / MJPEG

视频处理

 视频拷贝，缩放，色彩空间转换，场视频解交织（Deinterlace ）

系统架构

MPP 平台在系统架构的层次图如下图：

硬件层 Hardware

硬件层是瑞芯微系列芯片平台的视频编解码硬件加速模块，包括 VPU ， rkvdec ， rkvenc 等不同类型，不同功能的硬件加速器。

内核驱动层 Kernel driver

Linux 内核的编码器硬件设备驱动，以及相关的 mmu ，内存，时钟，电源管理模块等。

操作系统层

MPP 用户态的运行平台，如 Android 以及 Debian 等 Linux 发行版

应用层

MPP 层通过 MPI 对接各种中间件软件，如 OpenMax ， ffmpeg 和 gstreamer ，或者直接对接客户的上层应用。

MPI

由于视频编解码与视频处理过程需要处理大量的数据交互，包括码流数据，图像数据以及内存数据，同时还要处理与上层应用以及内核驱动的交叉关系，所以 MPP 设计了 MPI 接口，用于与上层交互。本章节说明了 MPI 接口使用的数据结构，以及设计思路。

MppMem 为 C 库 malloc 内存的封装。

MppBuffer 为硬件用的 dmabuf 内存的封装。

MppPacket 为一维缓存封装，可以从 MppMem 和 MppBuffer 生成，主要用于表示码流数据。

MppFrame 为二维帧数据封装，可以从 MppMem 和 MppBuffer 生成，主要用于表示图像数据。

使用 MppPacket 和 MppFrame 就可以简单有效的完成一般的视频编解码工作。

以视频解码为例，码流输入端把地址和大小赋值给 MppPacket ，通过 put_packet 接口输入，在输出端通过 get_frame 接口得到输入图像 MppFrame ，即可完成最简单的视频解码过程。

MPI （ Media Process Interface ）是 MPP 提供给用户的接口，用于提供硬件编解码功能，以及一些必要的相关功能。MPI 是通过 C 结构里的函数指针方式提供给用户，用户可以通过 MPP 上下文结构 MppCtx 与 MPI 接口结构 MppApi 组合使用来实现解码器与编码器的功能。

如上图所示， mpp_create ， mpp_init ， mpp_destroy 是操作 MppCtx 接口的过程，其中 mpp_create 接口也获取到了 MPI 接口结构体 MppApi ，真正的编码与解码过程是通过调用 MppApi 结构体里内的函数指针来实现,也就是上图中红框内的部分。红框内的函数调用分为编解码流程接口put/get_packet/frame 和相关的 control 和 reset 接口。下文先描述编解码器接口，再对编解码器工作中的一些要点进行说明。

rk gstreamer 插件

rockchipmpp是rk公司开发的一个在gstreamer插件，主要把自己的MPP和GStreamer，结合起来，我们在使用是可以直接把相关代码放到gstreamer源码中编译即可。

如下为它的源码

├── gstmppallocator.c
├── gstmppallocator.h
├── gstmppalphadecodebin.c
├── gstmppalphadecodebin.h
├── gstmpp.c
├── gstmppdec.c
├── gstmppdec.h
├── gstmppenc.c
├── gstmppenc.h
├── gstmpp.h
├── gstmpph264enc.c
├── gstmpph264enc.h
├── gstmpph265enc.c
├── gstmpph265enc.h
├── gstmppjpegdec.c
├── gstmppjpegdec.h
├── gstmppjpegenc.c
├── gstmppjpegenc.h
├── gstmppvideodec.c
├── gstmppvideodec.h
├── gstmppvp8enc.c
├── gstmppvp8enc.h
├── gstmppvpxalphadecodebin.c
├── gstmppvpxalphadecodebin.h

gstmpp.c为统一的入口文件，在它里面注册其他插件，gstmppjpegdec.c为jpeg的解码文件，我们能以他们为例子分析一下这个rockchip的mpp插件

gstreamer rkmpp 插件定义

如下为rkmpp的定义

GST_PLUGIN_DEFINE (GST_VERSION_MAJOR,GST_VERSION_MINOR,rkmpp,"Rockchip Mpp Video Plugin",plugin_init, VERSION, GST_LICENSE, GST_PACKAGE_NAME, GST_PACKAGE_ORIGIN)

这个功能相当于面向对象语言的模板功能，由于C语言不支持模板功能，需要使用宏定义，来模拟模板功能，下面我们一起展开一下;


#ifdef  __cplusplus
#define G_BEGIN_DECLS  extern "C" {
#define G_END_DECLS    }
#else
#define G_BEGIN_DECLS
#define G_END_DECLS
#endif#if (0 || defined(_MSC_VER)) && !defined(GST_STATIC_COMPILATION)
# define GST_PLUGIN_EXPORT __declspec(dllexport)
# ifdef GST_EXPORTS
#  define GST_EXPORT __declspec(dllexport)
# else
#  define GST_EXPORT __declspec(dllimport) extern
# endif
#else
# if defined(__GNUC__) || (defined(__SUNPRO_C) && (__SUNPRO_C >= 0x590))
#  define GST_PLUGIN_EXPORT __attribute__ ((visibility ("default")))
#  define GST_EXPORT extern __attribute__ ((visibility ("default")))
# else
#  define GST_PLUGIN_EXPORT
#  define GST_EXPORT extern
# endif
#endif
#define G_PASTE_ARGS(identifier1,identifier2) identifier1 ## identifier2
#define G_PASTE(identifier1,identifier2)      G_PASTE_ARGS (identifier1, identifier2)#define GST_PLUGIN_DEFINE(major,minor,name,description,init,version,license,package,origin) \
G_BEGIN_DECLS \
GST_PLUGIN_EXPORT const GstPluginDesc * G_PASTE(gst_plugin_, G_PASTE(name, _get_desc)) (void); \
GST_PLUGIN_EXPORT void G_PASTE(gst_plugin_, G_PASTE(name, _register)) (void); \
\
static const GstPluginDesc gst_plugin_desc = { \major, \minor, \G_STRINGIFY(name), \(gchar *) description, \init, \version, \license, \PACKAGE, \package, \origin, \__GST_PACKAGE_RELEASE_DATETIME, \GST_PADDING_INIT \
};                                       \
\
const GstPluginDesc * \
G_PASTE(gst_plugin_, G_PASTE(name, _get_desc)) (void) \
{ \return &gst_plugin_desc; \
} \
\
void \
G_PASTE(gst_plugin_, G_PASTE(name, _register)) (void) \
{ \gst_plugin_register_static (major, minor, G_STRINGIFY(name), \description, init, version, license, \PACKAGE, package, origin); \
} \
G_END_DECLS

这个宏定义主要生成gst_plugin_desc结构和gst_plugin_rkmpp_get_desc，gst_plugin_rkmpp_register，来的分析，把部分宏找出来直接用gcc命令生产:

gcc  -E -P gst-define.c > gst-define_m.c

大致代码如下

 __attribute__ ((visibility ("default"))) const GstPluginDesc * gst_plugin_rkmpp_get_desc (void);__attribute__ ((visibility ("default"))) void gst_plugin_rkmpp_register (void); static const GstPluginDesc gst_plugin_desc = { GST_VERSION_MAJOR, GST_VERSION_MINOR, G_STRINGIFY(rkmpp), (gchar *) "Rockchip Mpp Video Plugin", plugin_init, VERSION, GST_LICENSE, PACKAGE, GST_PACKAGE_NAME, GST_PACKAGE_ORIGIN, __GST_PACKAGE_RELEASE_DATETIME, GST_PADDING_INIT };const GstPluginDesc * gst_plugin_rkmpp_get_desc (void) { return &gst_plugin_desc; } void gst_plugin_rkmpp_register (void) { gst_plugin_register_static (GST_VERSION_MAJOR, GST_VERSION_MINOR, G_STRINGIFY(rkmpp), "Rockchip Mpp Video Plugin", plugin_init, VERSION, GST_LICENSE, PACKAGE, GST_PACKAGE_NAME, GST_PACKAGE_ORIGIN);}

插件初始化

我们在编写一个GStreamer应用_专注&突破的博客-CSDN博客开始的时候说过编写gstreamer应用首先使用gst_init 初始化

前奏

void
gst_init (int *argc, char **argv[])
{GError *err = NULL;if (!gst_init_check (argc, argv, &err)) {g_print ("Could not initialize GStreamer: %s\n",err ? err->message : "unknown error occurred");if (err) {g_error_free (err);}exit (1);}
}

它的主要功能，

初始化GStreamer库
注册内部element
加载插件列表，扫描列表中及相应路径下的插件
解析并执行命令行参数

我们下面简单跟踪它的代码，重点看看怎么一步步加载插件的

gst_init 主要调用gst_init_check，这个函数如下所示

gboolean
gst_init_check (int *argc, char **argv[], GError ** err)
{static GMutex init_lock;
#ifndef GST_DISABLE_OPTION_PARSINGGOptionGroup *group;GOptionContext *ctx;
#endifgboolean res;g_mutex_lock (&init_lock);if (gst_initialized) {GST_DEBUG ("already initialized gst");g_mutex_unlock (&init_lock);return TRUE;}
#ifndef GST_DISABLE_OPTION_PARSINGctx = g_option_context_new ("- GStreamer initialization");g_option_context_set_ignore_unknown_options (ctx, TRUE);g_option_context_set_help_enabled (ctx, FALSE);group = gst_init_get_option_group ();g_option_context_add_group (ctx, group);res = g_option_context_parse (ctx, argc, argv, err);g_option_context_free (ctx);
#elseinit_pre (NULL, NULL, NULL, NULL);init_post (NULL, NULL, NULL, NULL);res = TRUE;
#endifgst_initialized = res;g_mutex_unlock (&init_lock);return res;
}

这个函数主要是先看看有没有初始化，没有的话，进行初始化。在初始化的时候也可以使用GOption来指定参数，之前已经提过，GOption数组来定义你的命令行选项将表与由gst_init_get_option_group函数返回的选项组一同传给GLib初始化函数。通过使用GOption表来初始化GSreamer，你的程序还可以解析除标准GStreamer选项以外的命令行选项。

这里重点是

  group->pre_parse_func = pre_parse_func; init_pregroup->post_parse_func = post_parse_func; ///init_post

主要的工作是在init_post中完成，这里不准备详细介绍，着重说几点：

插件的加载并不是普通的动态库加载那样，而是形成一个plugin registry，这个registry主要记载插件的详细信息，在使用的时候方便调用
插件的加载使用父子进程方式，父进程收集和记录信息，子进程执行加载过程

GStreamer插件实列rockchipmpp相关推荐

使用Python打造基本WEB漏洞扫描器(二) 爬虫插件系统的开发—E-Mail收集插件实列
一.实验介绍 1.1 实验内容基于上节的爬虫,在爬虫的基础上增加一个插件系统,通过爬虫爬取网页链接后调用这个插件系统中的插件进行各种操作,本节也会写个简单的email收集插件作为列子,后面也会讲到如 ...
gst-crypto GStreamer插件
gst-crypto GStreamer插件内容 • 1. gst-crypto概述 o 1.1gst-crypto GStreamer插件功能 o 1.2用例范例 • 2. GStreamer插件 ...
Fragment的运用实列
运用ListFragment view: <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android ...
输出等边三角形php,php打印三角星星方法实列
php打印三角星星方法实列 php打印三角形,直角三角形.倒直角三角形.等腰三角形的代码.逻辑都是外层循环控制行数,内层循环控制空格或星号的个数. 一.php输出直角三角形<?php for($ ...
php实现身份证号码获取归属地地址的实列教程，含完整全国地区归属数据！
本篇文章主要讲解实现,php通过读取身份证地理位置编码进行匹配归属地的功能实例. 日期:2021-7-10 作者:任聪聪实列文件截图: 说明:我将数据切分成了两种类型,依据自己的习惯进行导入数据库即 ...
BGP——AS—PATH正则表达式（实列讲解+配置）
目录一.(表1 )关于AS_PATH访问列表的正则表达式元字符特殊字符二.字符组合路由含义: 三.实列理解: 四.应用: (1)应用--过滤: (2)应用--选路: 使用正则表达式目的:匹配BG ...
旋度的散度为零证明_（大牛分享）实列讲解：Python Sympy计算梯度、散度和旋度...
今天为大家带来的内容是:(大牛分享)实列讲解:Python Sympy计算梯度.散度和旋度 sympy有个vector 模块,里面提供了求解标量场.向量场的梯度.散度.旋度等计算,官方参考连接: ht ...
【综合评价分析】熵权算法确定权重原理+完整MATLAB代码+详细注释+操作实列
[综合评价分析]熵权算法确定权重原理+完整MATLAB代码+详细注释+操作实列文章目录 1. 熵权法确定指标权重 (1)构造评价矩阵 Ymn (2)评价矩阵标准化处理 (3)计算指标信息熵值 Mj ...
【综合评价分析】topsis评价原理+完整MATLAB代码+详细注释+操作实列
[综合评价分析]topsis评价原理+完整MATLAB代码+详细注释+操作实列文章目录 1.TOPSIS法的原理 2.TOPSIS法案例分析 3.建立模型并求解 3.1数据预处理 3.2代码实现数 ...

GStreamer插件实列rockchipmpp

MPP

概述

系统架构

MPI

rk gstreamer 插件

gstreamer rkmpp 插件定义

插件初始化

前奏

GStreamer插件实列rockchipmpp相关推荐

最新文章

热门文章