多个视频画面拼接技术
____YUV主要采样格式理解
主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比较常用,其含义为:每个点保存一个 8bit 的亮度值(也就是Y值), 每 2x2 个点保存一个 Cr 和Cb 值, 图像在肉眼中的感觉不会起太大的变化。所以, 原来用 RGB(R,G,B 都是 8bit unsigned) 模型, 4 个点需要 8x3=24 bites(如下图第一个图). 而现在仅需要 8+(8/4)+(8/4)=12bites, 平均每个点占12bites(如下图第二个图)。这样就把图像的数据压缩了一半。
上边仅给出了理论上的示例,在实际数据存储中是有可能是不同的,下面给出几种具体的存储形式:
(1) YUV 4:4:4
YUV三个信道的抽样率相同,因此在生成的图像里,每个象素的三个分量信息完整(每个分量通常8比特),经过8比特量化之后,未经压缩的每个像素占用3个字节。
下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为: Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
(2) YUV 4:2:2
每个色差信道的抽样率是亮度信道的一半,所以水平方向的色度抽样率只是4:4:4的一半。对非压缩的8比特量化的图像来说,每个由两个水平方向相邻的像素组成的宏像素需要占用4字节内存(亮度2个字节,两个色度各1个字节)。。
下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为: Y0 U0 Y1 V1 Y2 U2 Y3 V3
映射出像素点为:[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]
(3) YUV 4:1:1
4:1:1的色度抽样,是在水平方向上对色度进行4:1抽样。对于低端用户和消费类产品这仍然是可以接受的。对非压缩的8比特量化的视频来说,每个由4个水平方向相邻的像素组成的宏像素需要占用6字节内存(亮度4个字节,两个色度各1个字节)。
下面的四个像素为: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的码流为: Y0 U0 Y1 Y2 V2 Y3
映射出像素点为:[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]
(4)YUV4:2:0
4:2:0并不意味着只有Y,Cb而没有Cr分量。它指得是对每行扫描线来说,只有一种色度分量以2:1的抽样率存储。相邻的扫描行存储不同的色度分量, 也就是说,如果一行是4:2:0的话,下一行就是4:0:2,再下一行是4:2:0...以此类推。对每个色度分量来说,水平方向和竖直方向的抽样率都是 2:1,所以可以说色度的抽样率是4:1。对非压缩的8比特量化的视频来说,每个由2x2个2行2列相邻的像素组成的宏像素需要占用6字节内存(亮度4个字节,两个色度各1个字节)。
下面八个像素为:[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
[Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]
存放的码流为:Y0 U0 Y1 Y2 U2 Y3
Y5 V5 Y6 Y7 V7 Y8
映射出的像素点为:[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7]
[Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]
YUV420拼接
在视频会议/视频监控/视频调度等场景中,存在多分屏的应用, 典型如4分屏,/5+1/画中画等, 如下图所示:
这就需要用到视频拼接 需要将多路decode后的数据, 按每路的对应位置, 拼接到一路画面中,再encoder送出去.
本段描述如何做视频拼接.
YUV420在内存中的存放格式如下图所示:
主要的拼接思路如下:
- 获取必要的数据:
- 合成画面的大小, mix_width, mix_height
- 需要拼接画面的原始大小, src_width, src_height
- 拼接过后画面的大小和位置, region_width, region_height, region_top_x, region_top_y. 这里面表示的是具体region的画面长宽, 位置用左上角那个点的坐标表示,x/y的值是相对位置,用百分比表示.比如,
- 1分屏的位置region_top_x和region_top_y分别为0,0,
- 2分屏的位置为1/2,0
- 3分屏的位置为0,1/2
- 4分屏的位置为1/2,1/2
- 申请mix的内存, 大小为mix_width*mix_height*3/2
- 开始拼接一路画面,
- scale拼接画面, 将src_width/src_height大小reszie为region_width/region_height, 这个过程可以使用ffmpeg的sws_scale
- 假设mix的画面内存首地址为mix_buffer, scale之后的拼接画面的内存首地址为region_src_buffer.
- 获取源数据(region_src_buffer)的yuv数据的内存首地址
region_src_y = region_src_buffer;
region_src_u = region_ src_buffer +region_width * region_height ;
region_src_v = region_ src_buffer + region_width * region_height * 5 / 4
- 获取region在合成画面的YUV数据的内存首地址
region_dst_y = mix_buffer + mix_width * mix_height * region_top_y + mix_width * region_top_x
region_dst_u = mix_buffer + mix_width * mix_height + mix_width * region_top_x / 2 + mix_width * mix_height * region_top_y / 4
region_dst_v = mix_buffer + mix_width * mix_height * 5 / 4 + mix_width * mix_height + mix_width * region_top_x / 2 + mix_width * mix_height * region_top_y / 4
- 复制Y数据
uint32_t tmp_dst_pos = 0;
uint32_t tmp_src_pos = 0;
for(uint32_t i = 0; i < region_height; i++)
{
memcpy(region_dst_y + tmp_dst_pos, region_src_y + tmp_src_pos, region_width);
tmp_dst_pos += mix_width;
tmp_src_pos += region_width;
}
- 复制UV数据
uint32_t tmp_dst_pos = 0;
uint32_t tmp_src_pos = 0;
for(uint32_t i = 0; i < region_height / 2; i++)
{
memcpy(region_dst_u + tmp_dst_pos, region_src_u + tmp_src_pos, region_width / 2);
memcpy(region_dst_v + tmp_dst_pos, region_src_v + tmp_src_pos, region_width / 2);
tmp_dst_pos += mix_width / 2;
tmp_src_pos += region_width / 2;
}
- 继续拼接其他region画面
- mix_buffer做后续处理scale/encoder等
技术交流有兴趣请加:
音视频技术交流群:308601278
无线投屏技术交流群:582349005
我司有成熟的无线投屏盒子销售,也可做音视频及无线投屏相关产品和技术的定制化开发
可访问我司官网了解详细情况 必捷网络无线投屏SDK
商务合作可发邮件marketing@bijienetworks.com
多个视频画面拼接技术相关推荐
- Android端使用FFmpeg进行视频画面拼接
今天看到抖音上,有人发布水平拼接的短视频.这创意不错,本身是两个不同的短视频,通过视频拼接技术把两短视频拼在一起.除了视频进行水平拼接,音频也混合在一起.前期还需要对那两视频进行预处理:包括时长.分辨 ...
- android 视频画面拼接,Android实现视频剪切、视频拼接以及音视频合并
/*** mp4处理公共类* Created by lxy on 17-4-21.*/public classMp4ParseUtil { /***对Mp4文件集合进行追加合并(按照顺序一个一个拼接起 ...
- 基于 IJKPlayer-concat 协议的视频无缝拼接技术实现
一.前言 Hi,大家好,我是承香墨影! 开门见山,开篇名义.今天来聊聊如何将多段视频,拼接成一个完整而连续的视频,然后无缝进行播放. 这样的需求应该不算偏门吧? 最简单的就是一些视频 App,会将大段 ...
- 2个YUV视频拼接技术
http://blog.csdn.net/huahuahailang/article/details/9040847 2个YUV视频拼接技术 http://zhongcong386.blog.163. ...
- html怎么设置两块区域,将两个视频一左一右拼接 可裁剪画面并设置视频画面大小及位置...
现在分享小视频依然是很火的,小编每次刷小视频的时候,总会被视频中漂亮小姐姐的手势舞所吸引,嘻嘻--很多人分享的小视频都会采用分屏效果,即一个画面中有两个视频内容,这样可以形成很明显的对比,当然啦,如果 ...
- 赋能普通用户,面向专业级的视频内容制作技术
随着人们对视频的依赖程度日益增长,对专业级视频内容的制作要求.批量制作视频的需求也在不断提高.在制作视频中,如何即保证效率,又保证效果:即有模板支持,又能自由化的搭配设计.对此,LiveVideoSt ...
- 视频监控与视频编解码技术
视频监控与视频编解码技术 参考文献链接 https://mp.weixin.qq.com/s/UW4Z0vu_Wypc0ddymrOkpg https://mp.weixin.qq.com/s/Rfs ...
- iOS视频硬编码技术
iOS视频硬编码技术 一.iOS视频采集硬编码 基本原理 硬编码 & 软编码 硬编码:通过系统自带的Camera录制视频,实际上调用的是底层的高清编码硬件模块,即显卡,不使用CPU,速度快 软 ...
- H.265视频编码与技术全析(上)
H.265视频编码与技术全析(上) 一. 概述 作为新一代视频编解码格式,H.265得到越来越广泛的应用.不久之前,苹果公司在翘首期盼中发布了iPhone6,该款手机较之以往的iPhone,不仅仅只是 ...
最新文章
- SCVMM2012R2 WinRM错误
- 【转】学习笔记:GoogLeNet
- 判断一个字符串在另一个字符串中出现的次数
- Spring : Spring Aop CGLIB动态代理调用过程
- ES之各种运算符,for、while、do while 、switch case循环
- GenyMotion 配合 Android Studio 的安装
- Linux网络管理常用命令:net-tools VS iproute2
- 腾达无线usb wifi 网卡u1/u3 RTL8192EU在centos7.6/7.7的编译适配
- origin数据平滑_科学网—关于origin曲线平滑处理 lowess - 叶小球的博文
- qualifiers
- 注意丨Pearson VUE身份证件政策要求
- 服务器上的360不显示网速慢,服务器网速慢怎么解决
- 树莓派Ubuntu21.04,树莓派4b/4g,Python3.9.5搭建PyTorch
- zone2021 E-Sneaking
- 怎么利用计算机为学生成绩进行排名,使用excel为学生成绩排序的方法和步骤
- 制作各种docker镜像
- Day20 python__new__、单态模式、析构方法、常用魔术方法、__str__、__repr__、__bool__ 、__len__...
- 根据快递单号,生成快递单号
- Python基础 | Python的组合数据类型
- 阿里巴巴菜鸟网络二面