Android音乐播放器-使用FFmpeg及OpenSLES
文章目录
- 一、准备工作
- 二、目标
- 三、整体架构
- 四、OpenSLES
- 五、解码
- 六、状态通知
在之前的文章《FFmpeg解码音频代码》中,已经实现了使用FFmpeg解码音频为PCM。这次我们利用FFmpeg以及OpenSLES来实现一个简单的音乐播放器。
一、准备工作
在开始之前,我们需要使用之前文章中编译的Android版本的FFmpeg库,如果不清楚如何编译,请查看我的文章《最新版FFmpeg移植Android:编译so库(基于NDK r20和FFmpeg-4.1.0)》。同时也可以上我的github上直接下载已经编译好的库使用。需要注意的是,由于是debug使用,因此我并没有对FFmpeg进行剪裁,因此库的体积较大。
接下来,需要知道如何将第三方so库集成在Android工程中。同样,相关知识点在之前的博客《Android NDK开发: 通过C/C++调用第三方so库》中实践过。
最后一步,就是了解基本的OpenSLES的使用方法。由于我们实现的只是最简单的播放功能,因此只要能实现基本的播放功能即可。
工程放在github上:FFmpegAudioPlayer,本篇博客只讲一些需要注意的地方。
二、目标
该音乐播放器应该实现以下几个基本目标:
- 解码并播放主流格式:mp3、aac、wav等
- 支持seek功能
- 能实时显示播放进度及状态
- 对于内嵌专辑图片的音乐文件,能够显示图片。
- 播放暂停
- 获取音频时长
三、整体架构
架构如下:
- IAudioDataProvider是向player提供解码好的PCM数据的接口。
- AudioFileDecoder2是具体的解码类,它实现了IAudioDataProvider接口,向player提供解码好的数据。
- AudioFilePlayer是控制类,控制比如播放暂停、进度通知等。
- Commons是存放一些诸如采样率等常量的类。
- AACUtil是针对aac编码的文件获取时长的类。FFmpeg无法准确获取aac编码音频的duration。
- JavaStateListener是native向Java层通知状态变更的监听类。
- native-lib是面向java的jni接口封装。
四、OpenSLES
OpenSLES是一个功能非常强大的音频框架,Android对它也有支持,并且由于是在native端,性能更好,可操控性也更强。
要在Android中使用OpenSLES,必须在make文件中指定链接OpenSLES库。OpenSLES和Android的log库一样,都是Android内置的,因此我们只要指定链接它就好,无需为它单独编译库。
target_link_libraries( # Specifies the target library.native-libandroid# 链接OpenSLES库OpenSLES# Links the target library to the log library# included in the NDK.${log-lib}z# 链接FFmpeg及相关依赖库# ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libcharset.so# ${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libiconv.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libfdk-aac.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libmp3lame.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libx264.x.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavformat.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavfilter.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavcodec.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libavutil.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libswresample.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libswscale.so${CMAKE_SOURCE_DIR}/jniLibs/${ANDROID_ABI}/libpostproc.so
)
既然已经写出了,就顺道一起讲一下第三方so库的一种更简单的集成方式。在之前的博客中,我们需要使用两个函数:建立库、设定库文件位置。其实最简单的方式就是直接在target_link_libraries中直接指定库的位置即可。注意的是,由于我只编译了armv7和arm64的FFmpeg库,因此一定要在build.gradle中限制ABI。
externalNativeBuild {cmake {arguments '-DANDROID_PLATFORM=26'cppFlags '-std=c++11'}}ndk {abiFilters 'armeabi-v7a', 'arm64-v8a'}
接着,我们需要指定OpenSLES音频源的格式。通常我们都使用如下规格
- pcm格式
- 双声道
- 44.1kHz采样率
- 帧格式为int16,小尾端
因此设置格式时如下:
SLDataFormat_PCM pcmFormat = {SL_DATAFORMAT_PCM, 2, SL_SAMPLINGRATE_44_1, SL_PCMSAMPLEFORMAT_FIXED_16, SL_PCMSAMPLEFORMAT_FIXED_16, SL_SPEAKER_FRONT_LEFT | SL_SPEAKER_FRONT_RIGHT, SL_BYTEORDER_LITTLEENDIAN};
然后是注册回调函数:
result = (*playerBufferQueue)->RegisterCallback(playerBufferQueue, audio_callback, this);
回调函数如下:
void audio_callback(SLAndroidSimpleBufferQueueItf bq, void *context)
{SLAudioPlayer *player = (SLAudioPlayer *)context;player->processAudio();
}
它调用了SLAudioPlayer的
void SLAudioPlayer::processAudio() {if(spareDataProvider != NULL){dataProvider = spareDataProvider;spareDataProvider = NULL;}if(removeAudioDataProviderFlag){removeAudioDataProviderFlag = false;dataProvider = NULL;}if(dataProvider != NULL){int num_samples = 0;memset(buffer, 0, MAX_SAMPLE_COUNT * 2 * sizeof(int16_t));dataProvider->getAudioData(buffer, &num_samples);(*playerBufferQueue)->Enqueue(playerBufferQueue, buffer, num_samples * 2 * sizeof(int16_t));}
}
dataProvider是用来提供已解码的PCM数据的。注意num_samples
作为参数传递给dataProvider->getAudioData()
时,代表当前的buffer最大帧数容量是多少,dataProvider要根据此容量向buffer中写入数据。当函数结束时,此时num_samples
被dataProvider->getAudioData()
修改为此次获取的有效帧数。
使用OpenSLES时,如果使用buffer,一定要在初始化完成之后,手动Enqueue一下,这样OpenSLES才会开始主动向回调函数请求数据。
//主动Enqueue一次buffer,OpenSLES才会主动向我们请求数据
(*playerBufferQueue)->Enqueue(playerBufferQueue, buffer, MAX_SAMPLE_COUNT * 2 * sizeof(int16_t));
五、解码
解码和之前的《FFmpeg解码音频代码》是一致的,不同的是,这次我们将解码放在一个单独的线程中,然后使用一个有限大的buffer来存储解码的PCM数据。当buffer满时会阻塞解码线程,避免占用过多内存。
另外注意的点是一定要对buffer读写做多线程保护。
比较麻烦的是AAC音频,FFmpeg无法准确的到AAC音频的duration,因此单独写了一个工具AACUtil来获取AAC音频的长度。
FFmpeg解码的时候,内部会有信息打印出来,因此需要给FFmpeg提供一个打印log的回调:
//log回调
static void log_callback(void *ctx, int level, const char *fmt, va_list args)
{if(level == AV_LOG_ERROR){__android_log_print(ANDROID_LOG_DEBUG, "FFmpeg", fmt, args);}else{__android_log_print(ANDROID_LOG_ERROR, "FFmpeg", fmt, args);}
}
通过下面这句向FFmpeg设置回调:
av_log_set_callback(log_callback);
由于FFmpeg打印的log速度快量又大,很可能导致AndroidStudio缓冲区满而无法正常显示,因此在不需要的时候注释掉上面那句。
六、状态通知
状态通知我是通过native调用java方法这一形式实现的。有所不同的是,这一次java方法都不是在主线程被调用的,这样就会面临JNIEnv失效的问题。因此在调用这些方法时,首先要对JNIEnv进行attach操作,让它attach到当前被调用的线程,然后才能调用Java方法。
void JavaStateListener::progressChanged(int64_t currentProgress, bool isPlayFinished) {LOGD("JavaStateListener: progressChanged, position = %ld", currentProgress);if(vm == NULL || listener == NULL || progressChangedMethod == NULL){return;}JNIEnv *env;bool needDetach = false;if(vm->GetEnv((void **)&env, JNI_VERSION_1_6) == JNI_EDETACHED){needDetach = true;if(vm->AttachCurrentThread(&env, 0) != 0){LOGE("Error to attach env when progressChanged");return;}}env->CallVoidMethod(listener, progressChangedMethod, currentProgress, isPlayFinished);if(needDetach){vm->DetachCurrentThread();}
}
监听器初始化时,要先解析java类找到对应的method。
JavaStateListener::JavaStateListener(JNIEnv *env, jobject listener) {// this->env = env;env->GetJavaVM(&vm);this->listener = env->NewGlobalRef(listener);
// jclass cls = env->FindClass("com/zu/ffmpegaudioplayer/MainActivity");jclass cls = env->GetObjectClass(listener);this->infoGetMethod = env->GetMethodID(cls, "onInfoGet", "(JI)V");this->progressChangedMethod = env->GetMethodID(cls, "onProgressChanged", "(JZ)V");this->playStateChangedMethod = env->GetMethodID(cls, "onPlayStateChanged", "(Z)V");
}
对应的,java的监听器接口要有如下三个方法对应起来:
fun onInfoGet(duration: Long, picBufferLen: Int)
fun onProgressChanged(progress: Long, isPlayFinished: Boolean)
fun onPlayStateChanged(isPlay: Boolean)
对于播放进度的把控,由于工程较小,所以也没有特别地区分功能,因此这个任务落在了decoder身上。当然,player也可以。FFmpeg解码出的帧带的pts就是当前帧的播放时间戳。至于在什么时候进行通知,肯定是在player向decoder要数据的时候,表示player接下来就要播放这帧音频了,所以我们把这帧音频的时间戳通知给java层作为播放进度。
if(node->pts != AV_NOPTS_VALUE){currentPosition = (int64_t)(node->pts * av_q2d(audioStream->time_base) * 1000);
// LOGD("Current time in seconds is %ld ms", currentPosition);if(progressChangedCallback != NULL){if(fileDecodeState == DECODING_FINISHED && bufferSize == 0){progressChangedCallback(currentPosition, true);}else if(abs(currentPosition - oldPosition) >= progressUpdateInterval){progressChangedCallback(currentPosition, false);oldPosition = currentPosition;}}}
对于FFmpeg里的时间单位,一般都是用time_base表示,它的单位是秒。AVFrame的pts则表示“显示时间戳”,它的单位是time_base,表示有pts个time_base秒。而time_base以一个结构体ACVRational,这个结构体表示一个分数,把分子和分母分开存储了,所以先用av_q2d
将其转化为一个double,与pts相乘后就表示当前以秒为单位表示的时间戳。然后再乘1000,转化为毫秒ms。
至此,这个音乐播放器的关键部分已经讲完了,大家可以去我的github下载项目。
Android音乐播放器-使用FFmpeg及OpenSLES相关推荐
- 简单android音乐播放器课程设计,android音乐播放器课程设计报告.doc
android音乐播放器课程设计报告 android音乐播放器课程设计报告 基于Android音乐播放器的设计与实现 滨江学院 <移动通信程序设计> 课程设计 题 目 院 系 专 业学生姓 ...
- android音乐播放器课程设计报告,android音乐播放器课程设计报告11.doc
最新精品文档,知识共享! android音乐播放器课程设计报告 基于Android音乐播放器的设计与实现 滨江学院 <移动通信程序设计> 课程设计 题 目 院 系 专 业学生姓名 学 号 ...
- android音乐播放器完整教程,android实现简单音乐播放器
本文实例为大家分享了android音乐播放器的具体代码,供大家参考,具体内容如下 话不多说先上效果 前言 写这个音乐播放器实在是迫不得已.因为我们Andoird课程要求写一个音乐播放器.所以就有了此项 ...
- 自编Win8风格Android音乐播放器应用源码(单机版)
用闲暇的两天时间,研究编写了一个类Win8风格的android音乐播放器,实现了大部分基本功能.下面看具体描述: 基本实现功能: 注意事项:Android系统版本须在2.2以上,保证手机安装有SD卡( ...
- 基于android音乐播放器的设计
本科毕业论文(设计)诚信声明 本人郑重声明:所呈交的毕业论文(设计),题目<---基于android音乐播放器的设计----------->是本人在指导教师的指导下,进行研究工作所取得的成 ...
- Android音乐播放器的设计与实现
课程设计报告 实习名称 课程设计2 设计题目 Android音乐播放器的设计与实现 目录 摘要11 1 引言22 2 可行性分析22 2.1 技术可行性22 2.2 经济可行性33 2.3 管理可行性 ...
- Android音乐播放器开发(2)—登录
1. 说明 本音乐播放器基于Android开发,原为我和另外两个小伙伴在上学期间一起做的一个小项目,近来有时间整理一下.之前我有文章已经介绍了播放界面的功能实现(Android音乐播放器开发),但介绍 ...
- Android音乐播放器开发(3)—注册
1. 说明 本音乐播放器基于Android开发,原为我和另外两个小伙伴在上学期间一起做的一个小项目,近来有时间整理一下.之前我有文章已经介绍了播放界面的功能实现(Android音乐播放器开发),但介绍 ...
- Android音乐播放器开发(4)—修改密码
1. 说明 本音乐播放器基于Android开发,原为我和另外两个小伙伴在上学期间一起做的一个小项目,近来有时间整理一下.之前我有文章已经介绍了播放界面的功能实现(Android音乐播放器开发),但介绍 ...
最新文章
- Redis的KEYS命令引起宕机事件
- java程序运行堆栈分析
- Windows 恢复环境(Windows RE模式)
- 纯 css 实现 a 标签 loading 效果
- sql连表查询找不到关联字段时?
- 迷瘴 详解(C++)
- 如何使用PDF编辑器中文版删除PDF页码
- oracle同义词ddl,同义词 oracle,oracle里synonym的作用是什么?
- 怎么用python在淘宝抢单_淘宝抢单怎么做到秒抢 你需要知道的必杀步骤
- 基于host的http代理--hproxy
- 固定资产取消月末结账时报错,提示:BOF或EOF中有一个是“真”,或者当前的记录已被删除,所需的操作要求一个当前的记录...
- Win7设置wifi热点
- 微信开发者账号APPID过久不用被冻结解决方案
- [VOT14](2022CVPR)CSWinTT: Transformer Tracking with Cyclic Shifting Window Attention
- python画女朋友照片_用python给女朋友照片加上个性相框,学会等着她夸你!
- STM32+MLX90614红外测温
- android文本自动添加图片,Android textView文字添加图片 imageSpan使用
- 安徽省二级计算机考试大纲,安徽省计算机省二级考试大纲
- 2021春 算法复习
- ssh工作流程(工作原理)
热门文章
- .net post的参数如果出现乱码如何解决!
- 01Hypertext Preprocessor
- 04 Mysql之单表查询
- [原创]CAN总线数据计算器V1.01
- 使用 HTML5, javascript, webrtc, websockets, Jetty 和 OpenCV 实现基于 Web 的人脸识别
- 最小生成树(hdu1233还是畅通工程)
- ASP.NET大闲话:ashx文件有啥用
- 八皇后问题--C语言学习笔记
- 关于ng-cloak解决闪现问题的一点坑
- 记录sqoop同步失败问题解决过程,过程真的是很崎岖。(1月6日解决)