基于ffmpeg+opengl+opensl es的android视频播放器

最近做了一个android视频播放器，在jni中采用c/c++现了播放器的播放，暂停，快进等基本的播放器功能.

使用开源库FFMpeg来解码，得到音视频数据，FFMPEG是一个功能强大的音视频解码，编码的库,当然了，若要在android中使用ffmpeg库，必须要交叉编译，才能得到arm平台才能运行的.so文件.

在ffmpeg的官网https://ffmpeg.org/中下载最新的ffmpeg源码。

本人是在ubutn中编译安装ffmpeg的源码.ffmpeg-3.0.1, 解压源码，并在源码目录下编译，命令如下:

#!/bin/bash

make clean

export NDK=/home/zsy/setup/android-ndk-r10
export PREBUILT=$NDK/toolchains/arm-linux-androideabi-4.9/prebuilt
export PLATFORM=$NDK/platforms/android-L/arch-arm
export PREFIX=../fftoollib

build_one(){
./configure --target-os=linux --prefix=$PREFIX --enable-cross-compile --enable-libfreetype --enable-runtime-cpudetect --disable-asm --arch=arm --cc=$PREBUILT/linux-x86_64/bin/arm-linux-androideabi-gcc --cross-prefix=$PREBUILT/linux-x86_64/bin/arm-linux-androideabi- --disable-stripping --nm=$PREBUILT/linux-x86_64/bin/arm-linux-androideabi-nm --sysroot=$PLATFORM --enable-gpl --enable-shared --enable-static --enable-nonfree --enable-small --enable-version3 --disable-vda --disable-iconv --enable-encoder=libx264 --enable-encoder=libfaac --enable-zlib --enable-ffprobe --enable-sdl --enable-ffplay --enable-ffmpeg --enable-ffserver --disable-debug --pkg-config-flags="pkg-config --cflags freetype2 --libs freetype2" --extra-cflags="-fPIC -DANDROID -D__thumb__ -mthumb -Wfatal-errors -Wno-deprecated -mfloat-abi=softfp -marm -march=armv7-a"
--enable-libfreetype
}

build_one

make
make install

编译成功后，生成了libavcodec-57.so，libavdevice-57.so，libavfilter-6.so libavformat-57.so libavutil-55.so libpostproc-54.so libswresample-2.so libswscale-4.so等8个共享库.

播放器的代码主要思路是：使用两个队列来保存解封装出来的音视频数据，其结构是AVPacket, 使用两个数组来保存解码出来的音视频Frame，其结构是AVFrame。使用pthread_create开启是个线程，一个线程read_thread()来读取解封装的数据分别放入音频队列audio_q，视屏队列video_q,一个线程video_thread()来读取video_q的数据,并解码，把数据放入到AVFrame数组video_array中,一个线程audio_thread()来读取audio_q中的数据,最后一个线程video_fresh()来循环读取 video_array的数据并显示出来.

那么，在播放过程中，如何来显示图像，播放声音呢。

对于解码出来的视频数据可以作为纹理数据，通过opengl 来显示。具体的代码如下：

void drawFrame(const void *pixels_Y , const void *pixels_U ,const void *pixels_V , int pixel_w , int pixel_h){

glClear( GL_DEPTH_BUFFER_BIT | GL_COLOR_BUFFER_BIT);
           checkGlError("glClear");
          // texturecoord
                   glVertexAttribPointer(maTexCoorHandle, 2, GL_FLOAT, GL_FALSE, 0, textureVertices);
                   checkGlError("glVertexAttribPointer text");
                   glEnableVertexAttribArray(maTexCoorHandle);
                   checkGlError("glVertexAttribPointer text");

//Set postion
                   glEnableVertexAttribArray(maPositionHandle);
                   checkGlError("glEnableVertexAttribArray postion");
                   glVertexAttribPointer(maPositionHandle, 3, GL_FLOAT, GL_FALSE, 0, vertexVertices);
                   checkGlError("glVertexAttribPointer postion");

glActiveTexture(GL_TEXTURE0);checkGlError("glActiveTexture");
           glBindTexture(GL_TEXTURE_2D, text);checkGlError("glBindTexture");
          glTexImage2D(GL_TEXTURE_2D, 0, GL_RGB, pixel_w, pixel_h, 0, GL_RGB, GL_UNSIGNED_BYTE, pixels_Y);
           checkGlError("glTexImage2D");
              glUniform1i(textureUniformY, 0);checkGlError("glUniform1i");

}

嗯，作为纹理的视频数据格式是RGB24，必须将解码出来的AVFrame数据的格式转化为RGB24格式，才能显示出来.转化的主要代码如下：

av_image_fill_arrays(vp->frame->data, vp->frame->linesize,out_buffer,
AV_PIX_FMT_RGB24,width ,height,1);

is->img_convert_ctx = sws_getCachedContext(is->img_convert_ctx,vp->width , vp->height,
               src_frame->format,
               width , height,
                           AV_PIX_FMT_RGB24, SWS_BICUBIC, NULL, NULL, NULL);

sws_scale( is->img_convert_ctx , (uint8_t const * const *)src_frame->data,
src_frame->linesize, 0, src_frame->height,
vp->frame->data, vp->frame->linesize);

//顶点坐标

static const GLfloat vertexVertices[] = {
        -1.0f, -1.0f,0,
        1.0f, -1.0f,0,
        -1.0f, 1.0f,0,
        1.0f, 1.0f,0,
};
// 纹理坐标
static const GLfloat textureVertices[] = {
        0.0f, 1.0f,
        1.0f, 1.0f,
        0.0f, 0.0f,
        1.0f, 0.0f,
};

在这之前，必须加载shader语句，初始化程序.

shader语句如下：

static const char g_vertextShader[] = {
    "attribute vec4 vertexIn;\n"
    "attribute vec2 textureIn;\n"
    "varying vec2 textureOut;\n"
    "void main() {\n"
    " gl_Position = vertexIn;\n"
    " textureOut = textureIn;\n"
    "}\n"
};

static const char g_fragmentShader[] = {

"uniform sampler2D tex;\n"
    "varying vec2 textureOut;\n"
    "void main(void) {\n"
   // "vec3 rgb = texture2D(tex, textureOut);\n"
    " gl_FragColor=texture2D(tex, textureOut.st);\n"
    "}\n"
}

显示的图片如下：

对于播放声音,可以使用opensl es来播放，可以参考ndk中native-audio例子的代码，在本项目中使用buffer queue player,

初始化代码：

SLDataFormat_PCM format_pcm;
       format_pcm.formatType = SL_DATAFORMAT_PCM;
       format_pcm.numChannels = channel;
       format_pcm.samplesPerSec = rate *1000;
       format_pcm.bitsPerSample = SL_PCMSAMPLEFORMAT_FIXED_16;
       format_pcm.containerSize = SL_PCMSAMPLEFORMAT_FIXED_16;
       if(channel == 2){
           format_pcm.channelMask = SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT;
       }else{
           format_pcm.channelMask = SL_SPEAKER_FRONT_CENTER;
       }
       format_pcm.endianness = SL_BYTEORDER_LITTLEENDIAN;
    SLDataSource audioSrc = {&loc_bufq, &format_pcm};

// configure audio sink
SLDataLocator_OutputMix loc_outmix = {SL_DATALOCATOR_OUTPUTMIX, outputMixObject};
SLDataSink audioSnk = {&loc_outmix, NULL};

// create audio player
    const SLInterfaceID ids[3] = {SL_IID_BUFFERQUEUE, SL_IID_EFFECTSEND,
            /*SL_IID_MUTESOLO,*/ SL_IID_VOLUME};
    const SLboolean req[3] = {SL_BOOLEAN_TRUE, SL_BOOLEAN_TRUE,
            /*SL_BOOLEAN_TRUE,*/ SL_BOOLEAN_TRUE};
    result = (*engineEngine)->CreateAudioPlayer(engineEngine, &bqPlayerObject, &audioSrc, &audioSnk,
            3, ids, req);
    if(SL_RESULT_SUCCESS != result){
       LOGI("CreateAudioPlayer fial\n");
       return result;
    }

播放回调代码：
void bqPlayerCallback(SLAndroidSimpleBufferQueueItf bq, void *context)
{
assert(bq == bqPlayerBufferQueue);
assert(NULL == context);

// 读取audio AVFrame中的数据.
audio_decode_callback(&audio_buf, &size);

SLresult result;

result = (*bqPlayerBufferQueue)->Enqueue(bqPlayerBufferQueue, audio_buf,
size);

assert(SL_RESULT_SUCCESS == result);
(void) result;

}

好了，至此，可以通过的ni来播放一个既有视频图像，又有声音的视频文件了.

我们也可以给视频添加一些水印，

加图片水印:

边缘检测：

加字体水印：

点击VR按钮，显示如下图像:

基于ffmpeg+opengl+opensl es的android视频播放器相关推荐

视频教程-FFmpeg+OpenGL ES+OpenSL ES打造Android视频播放器-Android
FFmpeg+OpenGL ES+OpenSL ES打造Android视频播放器从事Android移动端开发多年.主导开发过直播.电商.聊天等各种类型APP和游戏SDK:熟悉Android音视频开发 ...
FFmpeg+OpenGL ES+OpenSL ES打造Android视频播放器课程总结
今天看完了视频播放器的全部课程.这个课程跳过了我认为重复的部分,主要是为了赶进度,快速地过了一遍.在这段时间,我简略地查阅了R语言的深度学习和CSAPP等知识点. 主要还是感觉得到数学的重要性,以前学 ...
基于NDK、C++、FFmpeg的android视频播放器开发实战-夏曹俊-专题视频课程
基于NDK.C++.FFmpeg的android视频播放器开发实战-1796人已学习课程介绍课程包含了对流媒体(拉流)的播放,演示了播放rtmp的香港卫视,支持rtsp摄像头和ht ...
视频教程-基于NDK、C++、FFmpeg的android视频播放器开发实战-Android
基于NDK.C++.FFmpeg的android视频播放器开发实战夏曹俊:南京捷帝科技有限公司创始人,南京大学计算机硕士毕业,有15年c++跨平台项目研发的经验,领导开发过大量的c++虚拟仿真,计算 ...
OpenSL ES for Android
OpenSL ES for Android 原英文文档地址:http://mobilepearls.com/labs/native-android-api/ndk/docs/opensles/ Ope ...
适用于Android的OpenSL ES指南-OpenSL ES的Android扩展
翻译自Android Extensions 针对Android的OpenSL ES扩展了参考OpenSL ES规范,使其与Android兼容,并利用Android平台的强大功能和灵活性. Androi ...
Android12之OpenSL ES设置android侧Performance Mode(十七)
通过上一节了解OpenSL ES在应对不同的音频文件的播放,有不同的模式,本节来分享下,OpenSL ES在创建播放器时,是如何设置高性能模式的.因为其操作繁琐和复杂,力图每一个章节能单线讲清楚一个知 ...
Android 视频播放器 (二)：使用MediaPlayer播放视频
在 Android 视频播放器 (一):使用VideoView播放视频我们讲了一下如何使用VideoView播放视频,了解了基本的播放器的一些知识和内容.也知道VideoView内部封装的就是Med ...
Android视频播放器ExoPlayer
Android视频播放器ExoPlayer SimpleExoPlayer 1. app gradle dependencies { implementation 'com.google.androi ...

基于ffmpeg+opengl+opensl es的android视频播放器

基于ffmpeg+opengl+opensl es的android视频播放器相关推荐

最新文章

热门文章