android端采用FFmpeg进行音频混合与拼接剪切

2024-05-10 14:11:37

接触FFmpeg有一段时间了，它是音视频开发的开源库，几乎其他所有播放器、直播平台都基于FFmpeg进行二次开发。本篇文章来总结下采用FFmpeg进行音频处理：音频混合、音频剪切、音频拼接与音频转码。

采用android studio进行开发，配置build.gradle文件：

[java] view plaincopy

defaultConfig {
......
externalNativeBuild {
cmake {
cppFlags ""
}
}
ndk {
abiFilters "armeabi-v7a"
}
}

另外指定cmake文件路径：

[java] view plaincopy

externalNativeBuild {
cmake {
path "CMakeLists.txt"
}
}
sourceSets {
main {
jniLibs.srcDirs = ['libs']
jni.srcDirs = []
}
}

从FFmpeg官网下载源码，编译成ffmpeg.so动态库，并且导入相关源文件与头文件：

然后配置cMakeLists文件：

[java] view plaincopy

add_library( # Sets the name of the library.
audio-handle
# Sets the library as a shared library.
SHARED
# Provides a relative path to your source file(s).
src/main/cpp/ffmpeg_cmd.c
src/main/cpp/cmdutils.c
src/main/cpp/ffmpeg.c
src/main/cpp/ffmpeg_filter.c
src/main/cpp/ffmpeg_opt.c)
add_library( ffmpeg
SHARED
IMPORTED )
set_target_properties( ffmpeg
PROPERTIES IMPORTED_LOCATION
../../../../libs/armeabi-v7a/libffmpeg.so )
include_directories(src/main/cpp/include)
find_library( log-lib
log )
target_link_libraries( audio-handle
ffmpeg
${log-lib} )

调用FFmpeg命令行进行音频处理：

[java] view plaincopy

/**
* 调用ffmpeg处理音频
* @param handleType handleType
*/
private void doHandleAudio(int handleType){
String[] commandLine = null;
switch (handleType){
case 0://转码
String transformFile = PATH + File.separator + "transform.aac";
commandLine = FFmpegUtil.transformAudio(srcFile, transformFile);
break;
case 1://剪切
String cutFile = PATH + File.separator + "cut.mp3";
commandLine = FFmpegUtil.cutAudio(srcFile, 10, 15, cutFile);
break;
case 2://合并
String concatFile = PATH + File.separator + "concat.mp3";
commandLine = FFmpegUtil.concatAudio(srcFile, appendFile, concatFile);
break;
case 3://混合
String mixFile = PATH + File.separator + "mix.aac";
commandLine = FFmpegUtil.mixAudio(srcFile, appendFile, mixFile);
break;
default:
break;
}
executeFFmpegCmd(commandLine);
}

其中，音频混音、合并、剪切和转码的FFmpeg命令行的拼接如下：

[java] view plaincopy

/**
* 使用ffmpeg命令行进行音频转码
* @param srcFile 源文件
* @param targetFile 目标文件（后缀指定转码格式）
* @return 转码后的文件
*/
public static String[] transformAudio(String srcFile, String targetFile){
String transformAudioCmd = "ffmpeg -i %s %s";
transformAudioCmd = String.format(transformAudioCmd, srcFile, targetFile);
return transformAudioCmd.split(" ");//以空格分割为字符串数组
}
/**
* 使用ffmpeg命令行进行音频剪切
* @param srcFile 源文件
* @param startTime 剪切的开始时间(单位为秒)
* @param duration 剪切时长(单位为秒)
* @param targetFile 目标文件
* @return 剪切后的文件
*/
@SuppressLint("DefaultLocale")
public static String[] cutAudio(String srcFile, int startTime, int duration, String targetFile){
String cutAudioCmd = "ffmpeg -i %s -ss %d -t %d %s";
cutAudioCmd = String.format(cutAudioCmd, srcFile, startTime, duration, targetFile);
return cutAudioCmd.split(" ");//以空格分割为字符串数组
}
/**
* 使用ffmpeg命令行进行音频合并
* @param srcFile 源文件
* @param appendFile 待追加的文件
* @param targetFile 目标文件
* @return 合并后的文件
*/
public static String[] concatAudio(String srcFile, String appendFile, String targetFile){
String concatAudioCmd = "ffmpeg -i concat:%s|%s -acodec copy %s";
concatAudioCmd = String.format(concatAudioCmd, srcFile, appendFile, targetFile);
return concatAudioCmd.split(" ");//以空格分割为字符串数组
}
/**
* 使用ffmpeg命令行进行音频混合
* @param srcFile 源文件
* @param mixFile 待混合文件
* @param targetFile 目标文件
* @return 混合后的文件
*/
public static String[] mixAudio(String srcFile, String mixFile, String targetFile){
String mixAudioCmd = "ffmpeg -i %s -i %s -filter_complex amix=inputs=2:duration=first -strict -2 %s";
mixAudioCmd = String.format(mixAudioCmd, srcFile, mixFile, targetFile);
return mixAudioCmd.split(" ");//以空格分割为字符串数组
}

FFmpeg处理混音的公式如下，其中sample1为源文件采样率、sample2为待混合文件采样率：

混音公式：value = sample1 + sample2 - (sample1 * sample2 / (pow(2, 16-1) - 1))

开启子线程，调用native方法进行音频处理：

[java] view plaincopy

public static void execute(final String[] commands, final OnHandleListener onHandleListener){
new Thread(new Runnable() {
@Override
public void run() {
if(onHandleListener != null){
onHandleListener.onBegin();
}
//调用ffmpeg进行处理
int result = handle(commands);
if(onHandleListener != null){
onHandleListener.onEnd(result);
}
}
}).start();
}
private native static int handle(String[] commands);

关键的native方法，是把java传入的字符串数组转成二级指针数组，然后调用FFmpeg源码中的run方法：

[cpp] view plaincopy

JNIEXPORT jint JNICALL Java_com_frank_ffmpeg_FFmpegCmd_handle
(JNIEnv *env, jclass obj, jobjectArray commands){
int argc = (*env)->GetArrayLength(env, commands);
char **argv = (char**)malloc(argc * sizeof(char*));
int i;
int result;
for (i = 0; i < argc; i++) {
jstring jstr = (jstring) (*env)->GetObjectArrayElement(env, commands, i);
char* temp = (char*) (*env)->GetStringUTFChars(env, jstr, 0);
argv[i] = malloc(1024);
strcpy(argv[i], temp);
(*env)->ReleaseStringUTFChars(env, jstr, temp);
}
//执行ffmpeg命令
result = run(argc, argv);
//释放内存
for (i = 0; i < argc; i++) {
free(argv[i]);
}
free(argv);
return result;
}

关于FFmpeg的run方法的源码如下，中间有部分省略：

[cpp] view plaincopy

int run(int argc, char **argv)
{
/****************省略********************/
//注册各个模块
avcodec_register_all();
#if CONFIG_AVDEVICE
avdevice_register_all();
#endif
avfilter_register_all();
av_register_all();
avformat_network_init();
show_banner(argc, argv, options);
term_init();
/****************省略********************/
//解析命令选项与打开输入输出文件
int ret = ffmpeg_parse_options(argc, argv);
if (ret < 0)
exit_program(1);
/****************省略********************/
//文件转换
if (transcode() < 0)
exit_program(1);
/****************省略********************/
//退出程序操作：关闭文件、释放内存
exit_program(received_nb_signals ? 255 : main_return_code);
ffmpeg_cleanup(0);
}

其中，最关键的是文件转换部分，源码如下：

[cpp] view plaincopy

好了，使用FFmpeg进行音频剪切、混音、拼接与转码介绍完毕。如果各位有什么问题或者建议，欢迎交流。

源码：https://github.com/xufuji456/FFmpegAndroid。如果对您有帮助，麻烦fork和star。

android端采用FFmpeg进行音频混合与拼接剪切相关推荐

android端采用FFmpeg进行视频剪切、转码与添加水印
前两篇文章介绍过FFmpeg进行音频处理.音视频处理:android端采用FFmpeg进行音频混合与拼接剪切, android端采用FFmpeg进行音视频合成与分离.关于FFmpeg涉及文件导入以及c ...
android端采用FFmpeg进行音视频合成与分离
上一篇文章谈到音频剪切.混音.拼接与转码,也详细介绍cMake配置与涉及FFmpeg文件的导入: android端采用FFmpeg进行音频混合与拼接剪切 .现在接着探讨音视频的合成与分离. 1.音频提 ...
android 混音源码,FFmpegAndroid android 端基于 FFmpeg 实现音频剪切、拼接、转码、混音、编解码；视频剪切、水印、截图、转码、编 @codeKK c开源站...
android 端基于 FFmpeg 库的使用添加编译 ffmpeg.shine.mp3lame.x264 源码的参考脚本目前音视频相关处理: 音频剪切.拼接音频混音音频转码音视频合成音频 ...
FFmpeg音频处理——音频混合、拼接、剪切、转码
本文是一篇关于 FFmpeg 音频处理的文章,转载详情可见文章末尾~~ 接触FFmpeg有一段时间了,它是音视频开发的开源库,几乎其他所有播放器.直播平台都基于FFmpeg进行二次开发. 本篇文章来 ...
Android端使用FFmpeg进行视频画面拼接
今天看到抖音上,有人发布水平拼接的短视频.这创意不错,本身是两个不同的短视频,通过视频拼接技术把两短视频拼在一起.除了视频进行水平拼接,音频也混合在一起.前期还需要对那两视频进行预处理:包括时长.分辨 ...
用ffmpeg进行音频格式转换、剪切、合并、音量调整等
为什么网上一大堆类似文章,我还要再发一篇?主要是,ffmpeg是分版本的,在一个版本上能用的,在另外一个版本上,未必能用. 这里发布的命令行,在ffmpeg version 5.1-full_buil ...
FFmpeg手撕视频（Android端）
前言 FFmpeg是非常强大的音视频处理工具,我们可以使用它来处理视频合成.剪辑.加特效等等操作. 官方文档至上 FFmpeg的官方文档 FFmpeg的官方文档命令真的是太多太多,而且都是英文,感觉精 ...
Android端+java后端+servlet+MySQL的型男塑造平台【前后端源代码+论文+答辩ppt】
活动地址:毕业季·进击的技术er 目录前言第一章绪论 1.1 背景和意义 1.2 国内外研究现状 1.3 论文研究目标与内容 1.4.减肥瘦身相关概念与计算方式介绍第二章需求分析 2.1 平 ...
【Flutter】Flutter 混合开发 ( Flutter 与 Native 通信 | Android 端实现 MethodChannel 通信 )
文章目录前言一.Android 端 MethodChannel 构造函数二.Android 端 setMethodCallHandler 方法三.Android 端实现 MethodChann ...

最新文章

热门文章