海思芯片MPP模块——视频缓存池机制介绍
1、前言
本文是根据hi3518ev200芯片的SDK包中MPP手册进行讲解,如果想要通过第一手资料了解更多细节,请自行阅读《HiMPP IPC V2.0 媒体处理软件开发参考.pdf》;
2、海思芯片视频流业务处理流程
(1)视频输入:视频的来源有两个,分别是从摄像头传输和将视频文件解码;
(2)视频处理:VPSS( Video Process Sub-System)是海思芯片里对图像进行处理的单元;
(3)视频编码:VENC是对视频进行编码处理,现在常用的是H264和H265格式,编码好后通过网络发送出去,或者存储到flash中保存起来;
(4)视频输出:VO一般是把视频输出到屏幕;
3、海思芯片音频流业务处理流程
(1)音频输入:从麦克风采集;
(2)音频编码:将视频数据编码成不同的格式;
(3)音频解码:将音频数据解码成喇叭能播放的格式;
(4)音频输出:通过喇叭播放声音;
4、视频缓存池介绍
(1)一组大小相同、物理地址连续的缓存块组成一个视频缓存池。上图中有两个视频缓存池A、B,每个视频缓存池中包含n个缓存快,同一个缓存池中的缓存块是大小相等、地址连续的内存;
(2)当VI模块采集到一帧图像,从缓存池B中申请到Bm缓存块用于保存图像;
(3)VI模块将图像数据Bm传递给VPSS模块;
(4)VPSS接收到图像数据Bm后,经过处理得到三路图像,也就是由一帧图像得到三帧不同的图像,每帧图像申请一个缓存块来保存,分别是Bi、Bj、Bk,原始图像Bm不再需要,所以将Bm还给视频缓存池B;
(5)三路图像分别传给三个视频处理模块,模块使用完后都归还给视频缓存池B,如此循环使用;
5、视频缓存池机制浅析
(1)视频缓存池就是海思芯片内部管理内存的一套机制,这些内存是海思芯片独立管理,和linux系统管理的内存是独立的,所以申请内存缓存池中的内存需要使用海思海思提供的接口,不能使用linux系统提供的接口;
(2)从逻辑上来看,是缓存块在各个视频处理模块直接流转,实际上只是传递视频缓存块的指针,这样可以避免大量的内存复制;
6、初始化视频缓存池
(1)海思MPP模块提供初始化视频缓存池、获取/释放VB块的接口,接口的具体用法查看MPP手册;
(2)根据业务的不同,决定公共缓存池的数量、缓存块的大小和数量;
(3)比如:设备的摄像头是1080P,每帧原始图像的数据占1080x1920x3个字节,把每个视频缓存块的大小设置成1080x1920x3个字节就刚好;
(4)如果设备有几路不同分辨率的图像,则可以创建多个视频缓存池,每个缓存池中VB块的大小根据图像的分辨率来确定;
(5)具体每个缓存池创建几个缓存块,理论上越多越好,但是需要考虑不能超过MMZ的总大小;
7、绑定的概念
(1)VB块在各个视频处理单元之间流程,其中传递分为两种方式,一种是绑定通道自动进行传递,一种是手动进行传递;
(2)MPP 提供系统绑定接口( HI_MPI_SYS_Bind),即通过数据接收者绑定数据源来建立两者之间的关联关系(只允许数据接收者绑定数据源)。绑定后,数据源生成的数据将自动发送给接收者;
(3)假设视频采集模块(VI)到视频直接送到视频播放模块(VO)进行播放,如果调用绑定接口将VI和VO绑定起来,则VI采集到的数据在海思内部会自动送到VO模块;如果没有采用绑定方式,则应用代码从VI获取到视频帧,然后调用send接口发送到VO模块;
(4)采用绑定方式,则VB传递很方便,上层不用操心;但是因为是海思底层直接将数据帧传送到下一模块,所以上层不能在传递视频帧到下一模块前进行处理;
8、mmz内存介绍
(1)视频缓存池是海思芯片内部管理内存的一套机制。处理视频是需要大量内存的,海思芯片媒体业务需要的内存是海思内部自己管理的,和linux管理的内存是独立的,在加载海思驱动的时候需要告诉海思芯片,分配给海思芯片内存的大小和地址范围;
(2)关于mmz内存参考博客:《设置海思芯片MMZ内存、OS内存详解》、
《海思芯片查看系统内存和mmz内存的命令》;
推荐
给大家推荐一个学校嵌入式知识的网站,博主在大学时候学习嵌入式知识、找工作的时候都在用这个网站,网站里有C语言、Linux等等的笔试题、面试常问问题等等知识,无论是学习基础知识、面试刷题、交流工作经验都是不错的选择。大家一起进步,欢迎留言交流。
链接:学习神器跳转
海思芯片MPP模块——视频缓存池机制介绍相关推荐
- 海思芯片部署MPP并验证功能
1. 前期准备 1.1搭建好开发环境: 1.这里说的是以个人电脑进行开发:安装好虚拟机,在虚拟机中搭建好nfs服务器,确保开发板可以挂载上虚拟机: 2.确保开发板和PC可以通过串口通信: 1.2熟悉海 ...
- 从零开始在海思芯片上部署uboot、kernel、rootfs、mpp
前言 本文介绍的是拿到海思芯片的开发板和海思的SDK开发包,在裸机上部署uboot.kernel.rootfs.mpp的过程,其中不涉及uboot.kernel.rootfs.mpp的细节,主要是介绍 ...
- 海思芯片-Proc调试信息查看-视频输入输出信息-电压信息
一.Hisi芯片 海思芯片系列:hi3535.hi3536. 海思平台的内存分为两部分:os内存和mmz内存.os内存为linux系统内存:mmz内存为由mmz驱动模块管理的供媒体业务单独使用的内存. ...
- 第二季2:视频缓存池的简介
以下内容源于朱有鹏嵌入式课程的学习与整理,如有侵权请告知删除. 一.视频缓存池的概念 (1)视频的本质是多帧图片,图片的本质是RGB或rawRGB数据,视频要占用一段连续内存. (2)视频的裁剪.缩放 ...
- 海思芯片研究开篇介绍
海思音视频处理芯片介绍 不多介绍了,大家都知道. 海思hi3516dv300 SDK目录介绍 1. 板子测试文档,用来测试买来的板子是否是正常的,测试不通过,可联系商家换新. 2. 单独资料包:提供u ...
- 设置海思芯片MMZ内存、OS内存详解
1.前言 (1)本文是基于hi3516dv300芯片的uboot和内核进行讲解: (2)dv300芯片的板子上实际接了2G内存,dv300芯片实际最大也只支持2G内存: 2.hi3516dv300芯片 ...
- 海思芯片怎么使用tde给qt加速_屏幕决定电视画质上限,芯片决定电视画质下限...
最近几年,超高清电视加速普及,越来越多的电视产品开始主打超高清这一卖点.数据显示,2018年超高清4K电视的市场销量占比高达69%,随着<超高清视频产业发展行动计划(2019-2022年)> ...
- 海思芯片(hi3516dv300)uboot镜像生成过程详解
1.前言 (1)本文介绍的uboot编译过程是基于海思提供SDK包里的uboot源码进行编译,具体的编译参数是根据hi3516dv300芯片来设置的,编译生成的uboot烧录镜像也是用于hi3516d ...
- 海思芯片-Hi3512参数规格介绍
今日,给大家分享的是海思芯片平台的Hi3512处理器,本文主要介绍Hi3512的芯片参数,内容非常详细,有不足之处,可在喜爱方留言,若需要相关技术资料,可到一牛网论坛. Hi3512芯片参数: CPU ...
最新文章
- 算法和编程面试题精选TOP50!(附代码+解题思路+答案)
- vs2012中 build、compile,debug区别
- 企业经营私域运营的三大核心系列直播课
- qt获取开发板ip地址_qt获取网络ip地址的类
- 程序员怎么样保证自己的程序没有BUG
- knn算法实现电影分类
- WindowsService 安装后报错: 无法启动计算机“.”上的服务 解决方案
- 开源手机自动化测试框架iQuery入门教程(一)
- Linux 下安装 jdk-7u75-linux-x64.gz,jdk1.7.0_75,jdk1.7步骤:
- 人工智能与量子计算在有前途的新忆阻器中融合
- android responsebody转json_SpringBoot 项目开发是如何返回 json 数据以及数据封装
- ‘net’ 不是内部命令或外部命令,也不是可运行的程序或批处理文件 解决方法
- window10官方工具在线升级失败,终极解决方案
- oracle vm 介绍,Oracle VM 概述
- video标签设置autoplay(自动播放)无效
- How a non-windowed component can receive messages from Windows -- AllocateHWnd
- 手机里的照片删了怎么恢复
- 图像分割 | FCN网络
- 基于UDS的ECU bootloader
- 视频怎么调整尺寸 裁剪视频画面尺寸大小的方法