【Android FFMPEG 开发】FFMPEG ANativeWindow 原生绘制 ( Java 层获取 Surface | 传递画布到本地

文章目录

I . FFMPEG ANativeWindow 原生绘制
II . FFMPEG 原生绘制流程
III . Java 层获取 Surface 画布
IV . 传递 Surface 画布到 Native 层
V . Native 层创建 ANativeWindow 原生绘制窗口

I . FFMPEG ANativeWindow 原生绘制

FFMPEG ANativeWindow 原生绘制前置操作 :

① FFMPEG 初始化 : 参考博客【Android FFMPEG 开发】FFMPEG 初始化 ( 网络初始化 | 打开音视频 | 查找音视频流 )

② FFMPEG 获取 AVStream 音视频流 : 参考博客【Android FFMPEG 开发】FFMPEG 获取 AVStream 音视频流 ( AVFormatContext 结构体 | 获取音视频流信息 | 获取音视频流个数 | 获取音视频流 )

③ FFMPEG 获取 AVCodec 编解码器 : 参考博客【Android FFMPEG 开发】FFMPEG 获取编解码器 ( 获取编解码参数 | 查找编解码器 | 获取编解码器上下文 | 设置上下文参数 | 打开编解码器 )

④ FFMPEG 读取音视频流中的数据到 AVPacket : 参考博客【Android FFMPEG 开发】FFMPEG 读取音视频流中的数据到 AVPacket ( 初始化 AVPacket 数据 | 读取 AVPacket )

⑤ FFMPEG 解码 AVPacket 数据到 AVFrame : 参考博客【Android FFMPEG 开发】FFMPEG 解码 AVPacket 数据到 AVFrame ( AVPacket->解码器 | 初始化 AVFrame | 解码为 AVFrame 数据 )

⑥ FFMPEG AVFrame 图像格式转换 YUV -> RGBA : 参考博客【Android FFMPEG 开发】FFMPEG AVFrame 图像格式转换 YUV -> RGBA ( 获取 SwsContext | 初始化图像数据存储内存 | 图像格式转换 )

II . FFMPEG 原生绘制流程

FFMPEG 解码 AVPacket 数据到 AVFrame 流程 :

〇前置操作 : FFMPEG 环境初始化 , 获取 AVStream 音视频流 , 获取 AVCodec 编解码器 , 读取音视频流中的数据到 AVPacket , 解码 AVPacket 数据到 AVFrame , AVFrame 图像格式转换 YUV -> RGBA , 然后才能进行下面的操作 ;

① Java 层获取 Surface 对象 : Surface 画布可以在 SurfaceView 的 SurfaceHolder 中获取

//绘制图像的 SurfaceView
SurfaceView surfaceView;//在 SurfaceView 回调函数中获取
SurfaceHolder surfaceHolder = surfaceView.getHolder() ; //获取 Surface 画布
Surface surface = surfaceHolder.getSurface() ;

② 将 Surface 对象传递到 Native 层 : 在 SurfaceHolder.Callback 接口的 surfaceChanged 实现方法中 , 将 Surface 画布传递给 Native 层 ;

@Override
public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {//画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键//将 Surface 传到 Native 层 , 在 Native 层绘制图像native_set_surface(holder.getSurface());
}//调用该方法将 Surface 传递到 Native 层
native void native_set_surface(Surface surface);

③ 创建 ANativeWindow : 在 Native 层的 C++ 代码中 , 接收 Surface 画布 , 并创建 ANativeWindow 本地绘制窗口 , 原生绘制主要在 ANativeWindow 中进行 ;

//CPP 中接收 Surface 画布 , 并创建 ANativeWindow
extern "C"
JNIEXPORT void JNICALL
Java_kim_hsl_ffmpeg_Player_native_1set_1surface(JNIEnv *env, jobject instance, jobject surface) {// 将从 Java 层传递的 Surface 对象转换成 ANativeWindow 结构体//      如果之前已经有了 ANativeWindow 结构体 , 那么先将原来的释放掉//释放原来的 ANativeWindowif(aNativeWindow){ANativeWindow_release(aNativeWindow);}//转换新的 ANativeWindowaNativeWindow = ANativeWindow_fromSurface(env, surface);
}

III . Java 层获取 Surface 画布

1 . Surface 画布 : 这里的 Surface 画布从 SurfaceView 中获得 , SurfaceHolder.Callback 的监听方法中获取 SurfaceHolder 及 Surface ;

2 . 设置 SurfaceHolder 回调函数 : 首先要获取 SurfaceView 的 SurfaceHolder ; 设置 SurfaceHolder 监听回调函数 SurfaceHolder.Callback ;

        //监听获取画布this.surfaceHolder = this.surfaceView.getHolder();surfaceHolder.addCallback(this);

3 . 获取 Surface 画布 : 在 surfaceChanged 回调方法中 , 获取 Surface 画布 , 这样可以保证在横竖屏切换时可以实时获取到最新画布 ;

    @Overridepublic void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {//画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键//holder.getSurface() 就是 Surface 画布 ; }

4 . Surface 画布获取代码示例 :

package kim.hsl.ffmpeg;import android.util.Log;
import android.view.Surface;
import android.view.SurfaceHolder;
import android.view.SurfaceView;/*** Java 层与 Native 层交互 接口*/
public class Player implements SurfaceHolder.Callback {private static final String TAG = "Player";// 加载动态库static {System.loadLibrary("native-lib");}/*** 视频显示组件*/private SurfaceView surfaceView;/*** 控制 Surface 画布接口*/private SurfaceHolder surfaceHolder;...public void setSurfaceView(SurfaceView surfaceView) {this.surfaceView = surfaceView;//监听获取画布this.surfaceHolder = this.surfaceView.getHolder();surfaceHolder.addCallback(this);}@Overridepublic void surfaceCreated(SurfaceHolder holder) {//画布创建}@Overridepublic void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {//画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键//holder.getSurface() 就是 Surface 画布 ; }@Overridepublic void surfaceDestroyed(SurfaceHolder holder) {//画布销毁}
}

IV . 传递 Surface 画布到 Native 层

1 . 原生绘制需求 : 在 Native 层使用 C/C++ 进行原生绘制需要将 Surface 画布传递到 Native 层进行绘制 ;

2 . 定义传递方法 : 在 Java 层定义传递 Surface 画布的 Native 方法 ;

native void native_set_surface(Surface surface);

3 . 实现 Surface 传递方法 : 在 Native 层实现 Java 中定义的方法 ;


extern "C"
JNIEXPORT void JNICALL
Java_kim_hsl_ffmpeg_Player_native_1set_1surface(JNIEnv *env, jobject instance, jobject surface) {...
}

4 . 传递 Surface 画布操作 : 在 surfaceChanged 函数中 , 通过调用 SurfaceHolder 的 getSurface ( ) 方法获取 Surface 画布 , 再调用 native_set_surface(holder.getSurface()) , 将画布传递到 Surface 层 ;

    @Overridepublic void surfaceChanged(SurfaceHolder holder, int format, int width, int height) {//画布改变 , 横竖屏切换 , 按下 Home 键 , 按下菜单键//将 Surface 传到 Native 层 , 在 Native 层绘制图像native_set_surface(holder.getSurface());}

V . Native 层创建 ANativeWindow 原生绘制窗口

1 . ANativeWindow 创建 : 在 Native 层实现 Java 中定义的本地方法 native_set_surface ( ) , 在该方法中传入了 Surface 对象作为参数 ; 在该 Native 方法中 , 调用了 ANativeWindow_fromSurface ( ) 方法 , 将 Surface 对象转为了 ANativeWindow 原生绘制窗口 ;

2 . ANativeWindow_fromSurface ( ) 函数原型 :

① JNIEnv* env 参数 : JNI 环境 , 在 JNI 方法中自带 ;

② jobject surface 参数 : Java 层传入的 Surface 对象 ;

/*** Return the ANativeWindow associated with a Java Surface object,* for interacting with it through native code.  This acquires a reference* on the ANativeWindow that is returned; be sure to use ANativeWindow_release()* when done with it so that it doesn't leak.*/
ANativeWindow* ANativeWindow_fromSurface(JNIEnv* env, jobject surface);

3 . Native 层创建 ANativeWindow 原生绘制窗口代码示例 :

/*** 原生绘制窗口*/
ANativeWindow * aNativeWindow;extern "C"
JNIEXPORT void JNICALL
Java_kim_hsl_ffmpeg_Player_native_1set_1surface(JNIEnv *env, jobject instance, jobject surface) {//加同步锁pthread_mutex_lock(&mutex);// 将从 Java 层传递的 Surface 对象转换成 ANativeWindow 结构体//      如果之前已经有了 ANativeWindow 结构体 , 那么先将原来的释放掉//释放原来的 ANativeWindowif(aNativeWindow){ANativeWindow_release(aNativeWindow);}//转换新的 ANativeWindowaNativeWindow = ANativeWindow_fromSurface(env, surface);//解除同步锁pthread_mutex_unlock(&mutex);}