HEVC单帧码流硬解渲染

项目里面需要使用读取每一帧单帧码流进行渲染.特此记录一下.

硬解码

硬解码使用的MediaCodec . 一般它与 MediaExtractor 配合使用.
MediaExtractor 从MP4等格式中抽取出 码流数据 送给MediaCodec解码器.

坑

H.264码流主要分Annex-B和AVCC两种格式，H.265码流主要分为Annex-B和HVCC格式。AnnexB与AVCC/HVCC的区别在于参数集与帧格式，AnnexB的参数集sps、pps以NAL的形式存在码流中（带内传输），以startcode分割NAL。
而AVCC/HVCC 的参数集存储在extradata中（带外传输），使用NALU长度（固定字节，通常为4字节，从extradata中解析）分隔NAL，通常MP4、MKV使用AVCC格式来存储。
Android的硬解只接受Annex-B格式的码流，所以在解码MP4 Demux出的视频流时，需要解析extradata，取出sps、pps，通过CSD(Codec-Specific Data)来初始化解码器；并且将AVCC码流转换为Annex-B，在ffmpeg中使用h264_mp4toannexb_filter或hevc_mp4toannexb做转换。

方法:

一般编码出来的是Annex-B 格式码流,手动去解析出 CSD 来初始化解码器.
源码链接

package jp.yohhoy.hevcdec;import android.app.Activity;
import android.content.Context;
import android.media.MediaCodec;
import android.media.MediaFormat;
import android.os.Bundle;
import android.util.Log;
import android.util.Size;
import android.view.Surface;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
import android.view.ViewGroup;import java.io.ByteArrayOutputStream;
import java.io.IOException;
import java.io.InputStream;
import java.nio.ByteBuffer;public class MainActivity extends Activity {private static final String TAG = "MainActivity";private static byte[] loadRawResource(Context ctx, int resId) {int size = (int) ctx.getResources().openRawResourceFd(resId).getLength();try {byte data[] = new byte[size];InputStream is = ctx.getResources().openRawResource(resId);is.read(data);return data;} catch (IOException ex) {return null;}}private static MediaCodec findHevcDecoder() {// "video/hevc" may select hardware decoder on the device.// "OMX.google.hevc.decoder" is software decoder.final String[] codecNames = {"video/hevc", "OMX.google.hevc.decoder"};for (String name : codecNames) {try {MediaCodec codec = MediaCodec.createByCodecName(name);Log.i(TAG, "codec \"" + name + "\" is available");return codec;} catch (IOException | IllegalArgumentException ex) {Log.d(TAG, "codec \"" + name + "\" not found");}}Log.w(TAG, "HEVC decoder is not available");return null;}private static ByteBuffer extractHevcParamSets(byte[] bitstream) {final byte[] startCode = {0x00, 0x00, 0x00, 0x01};int nalBeginPos = 0, nalEndPos = 0;int nalUnitType = -1;int nlz = 0;ByteArrayOutputStream baos = new ByteArrayOutputStream();for (int pos = 0; pos < bitstream.length; pos++) {if (2 <= nlz && bitstream[pos] == 0x01) {nalEndPos = pos - nlz;if (nalUnitType == 32 || nalUnitType == 33 || nalUnitType == 34) {// extract VPS(32), SPS(33), PPS(34)Log.d(TAG, "NUT=" + nalUnitType + " range={" + nalBeginPos + "," + nalEndPos + "}");try {baos.write(startCode);baos.write(bitstream, nalBeginPos, nalEndPos - nalBeginPos);} catch (IOException ex) {Log.e(TAG, "extractHevcParamSets", ex);return null;}}nalBeginPos = ++pos;nalUnitType = (bitstream[pos] >> 1) & 0x2f;if (0 <= nalUnitType && nalUnitType <= 31) {break;  // VCL NAL; no more VPS/SPS/PPS}}nlz = (bitstream[pos] != 0x00) ? 0 : nlz + 1;}return ByteBuffer.wrap(baos.toByteArray());}private static Size calcImageSize(MediaFormat format) {int cropLeft = format.getInteger("crop-left");int cropRight = format.getInteger("crop-right");int cropTop = format.getInteger("crop-top");int cropBottom = format.getInteger("crop-bottom");int width = cropRight + 1 - cropLeft;int height = cropBottom + 1 - cropTop;return new Size(width, height);}private static Size renderHevcImage(byte[] bitstream, Surface surface) {MediaCodec decoder = findHevcDecoder();if (decoder == null) {return null;}// configure HEVC decoderMediaFormat inputFormat = MediaFormat.createVideoFormat("video/hevc", 640, 480);inputFormat.setInteger(MediaFormat.KEY_MAX_INPUT_SIZE, bitstream.length);inputFormat.setByteBuffer("csd-0", extractHevcParamSets(bitstream));Log.d(TAG, "input-format=" + inputFormat);decoder.configure(inputFormat, surface, null, 0);MediaFormat outputFormat = decoder.getOutputFormat();Log.d(TAG, "output-format=" + outputFormat);Size imageSize = calcImageSize(outputFormat);decoder.start();// set bitstream to decoderint inputBufferId = decoder.dequeueInputBuffer(-1);if (inputBufferId < 0) {Log.e(TAG, "dequeueInputBuffer return " + inputBufferId);return null;}ByteBuffer inBuffer = decoder.getInputBuffer(inputBufferId);inBuffer.put(bitstream);decoder.queueInputBuffer(inputBufferId, 0, bitstream.length, 0, 0);// notify end of streaminputBufferId = decoder.dequeueInputBuffer(-1);if (inputBufferId < 0) {Log.e(TAG, "dequeueInputBuffer return " + inputBufferId);return null;}decoder.queueInputBuffer(inputBufferId, 0, 0, 0, MediaCodec.BUFFER_FLAG_END_OF_STREAM);// get decoded imageMediaCodec.BufferInfo bufferInfo = new MediaCodec.BufferInfo();while (true) {int outputBufferId = decoder.dequeueOutputBuffer(bufferInfo, -1);if (outputBufferId >= 0) {decoder.releaseOutputBuffer(outputBufferId, true);break;} else if (outputBufferId == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {outputFormat = decoder.getOutputFormat();Log.d(TAG, "output-format=" + outputFormat);imageSize = calcImageSize(outputFormat);} else {Log.d(TAG, "dequeueOutputBuffer return " + outputBufferId);}}decoder.flush();decoder.stop();decoder.release();return imageSize;}private SurfaceView mSurfaceView;@Overrideprotected void onCreate(Bundle savedInstanceState) {super.onCreate(savedInstanceState);mSurfaceView = new SurfaceView(this);setContentView(mSurfaceView);// load HEVC bitstream (Annex.B format)final byte[] bitstream = loadRawResource(this, R.raw.lena_std);Log.d(TAG, "length=" + bitstream.length);mSurfaceView.getHolder().addCallback(new SurfaceHolder.Callback() {@Overridepublic void surfaceCreated(SurfaceHolder holder) {}@Overridepublic void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {Log.d(TAG, "surfaceChanged format=" + format + " size=" + width + "x" + height);Size sz = renderHevcImage(bitstream, holder.getSurface());if (sz != null) {// fit SurfaceView to decoded imageViewGroup.LayoutParams lp = mSurfaceView.getLayoutParams();lp.width = sz.getWidth();lp.height = sz.getHeight();mSurfaceView.setLayoutParams(lp);}}@Overridepublic void surfaceDestroyed(SurfaceHolder holder) {}});}
}

参考文献

如何渲染编码的裸数据
码流格式
Android转码SDK实战

项目记录: HEVC单帧码流硬解渲染相关推荐

HM-16.0编码过程：将YUV文件编码成HEVC格式的码流
HM-16.0编码:将YUV文件编码成HEVC格式的码流注: 1 为了快速优化运行(不调程序的时候),可以将程序的版本设为"release",否则还是设为"debu ...
H265/HEVC视频分层码流分析语义元素解释
H265/HEVC视频分层码流分析语义元素解释 H265分层结构 H265码流结构 Ffmpge 抽取H264,H265码流的命令视频参数集VPS 序列参数集SPS(Sequence Paramet ...
ffplay使用dxva2实现硬解渲染
ffplay自定义系列第一章自定义播放器接口第二章倍速播放第三章 dxva2硬解渲染(本章) 第四章提供C#接口第五章制作wpf播放器文章目录 ffplay自定义系列前言一.ff ...
深入讲解音视频编码原理，H264码流详解——手写H264编码器
音视频高手课08-H264 I帧 P帧 B帧及手写H264编码器 1 三种帧的说明 1.I 帧:帧内编码帧,帧表示关键帧,你可以理解为这一帧画面的完整保留:解码时只需要本帧数据就可以完成(因为包含完整 ...
介绍DVB-S码流_PAT_PMT_NIT_CAT
介绍DVB-S码流,PAT,PMT,NIT,CAT 摘要本文介绍了电子节目指南信息的构成以及MPEG-2 PSI和DVB-SI信息规范,提出了一种EPG信息的存储结构和节目数据库的生成方案,并据此讲 ...
H264码流分析工具
概述本文作为一个笔记,记录笔者学习H264码流的过程.重点记录使用工具分析H264码流.使用该工具,可方便查看码流中NALU的结构,为我们学习和理解有很大帮助. H264码流介绍笔者直接参考:ht ...
matlab双极性眼图,实验报告三编程做单极性码眼图仿真
<实验报告三编程做单极性码眼图仿真>由会员分享,可在线阅读,更多相关<实验报告三编程做单极性码眼图仿真(4页珍藏版)>请在人人文库网上搜索. 1.1.实验目的(1)掌握单极性码 ...
【开源工程】之裸码流提取工具--H264/H265
序工程中常常需要分析一些码流,但码流文件过大的话,不利于分析具体的帧数据,由此编写了码流提取软件. 此工具是在业余时间完成,很多功能尚待完善,如果茫茫中,你发现了此工具,也感兴趣研究,希望你将工 ...
Qt结合FFmpeg转码码流数据（h264）生成不同视频格式（mp4、mov、flv、avi等）
目录 1.转码流程分析 2.创建一个类专门用来转码 .h文件构造函数打开对应的码流数据转码得到最终的封装格式主函数测试转码运行结果 1.转码流程分析 /*转码流程分析: * 1.注册组件 * ...

项目记录: HEVC单帧码流硬解渲染

HEVC单帧码流硬解渲染

硬解码

坑

方法:

参考文献

项目记录: HEVC单帧码流硬解渲染相关推荐

最新文章

热门文章