《android多媒体api》系列是整合梳理android开发中经常用到的媒体相关api;多媒体开发主要内容有音频、视频录制播放、摄像头操作、录制操作、流媒体、直播、推流、拉流等方面;最近几年移动直播和视频应用发展犹如雨后春笋一般直插云霄,呃。。好吧这段比喻可以不用看了!!,反正行业兴起肯定催生了很多多媒体相关应用开发程序员。那么怎样才能成为多媒体开发程序员,首先必须要熟练使用和了解android自带的多媒体api,并且还要掌握pcm、yuv、rgb、h264、aac、flv、mpegts、mp4、udp、rtp、rtmp等等众多文件格式和流媒体协议等等。所以这里整理android相关多媒体api,提供给想从事流媒体同学作为参照,同样还是要鸣谢网络上那些具有分享精神大神们!!

####基本概念:

  1. 视频播放:demuxer(解复用)->分离出音频流和视频流->decoder(解码)->播放原始数据(例如:pcm yuv)
  2. 视频录制:采集原始数据(例如:pcm yuv)->encoder(编码)->muxer(封装格式 例如:mp4 3gp)
  3. 流媒体协议:udp、rtp、rtmp、rtcp、rtsp等
  4. 音视频封装格式:mp4 、3gp、flv等
  5. 音视频编码格式:aac、amr、h264、h265等
  6. 原始音视频数据格式:pcm 、yuv、rgb等

流程图:

####文章目录:

  1. VideoView 视频播放控件
  2. camera配合surface预览相机画面和拍照
  3. MediaPlayer自定义视频播放器
  4. MediaRecorder音视频录制api
  5. AudioTrack原始音频pcm播放api
  6. AudioRecord原始音频pcm采集api

AudioRecord是什么?
AudioRecord是可以录制原始音频数据pcm的api,如果是一些音乐录制,或者直播语音等都需要使用音频数据前置处理,比如:降噪、多音频合成、特效音效处理等等。那么就需要获取原始音频数据后处理完毕后在编码,因为编码后的数据是不能够处理降噪、特效等操作的。那么就下来看看怎么用AudioRecord来录制原始音频数据;下面做了一个demo,主要是录制音频后保存到文件中去。pcm录音时候需要制定几个重要参数,这几个参数在以后播放的时候也要对应设置,要不然无法播放。录制时候还需要设置录制缓冲区大小,缓存区越大,内存溢出风险越小。
####pcm参数:
1、采样率
2、声道数
3、位宽

首先视频音频录制是属于用户敏感信息,所以使用之前一定要申请权限:

<uses-permission android:name="android.permission.RECORD_AUDIO" />
<uses-permission android:name="android.permission.MOUNT_UNMOUNT_FILESYSTEMS" />
<uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

####基于AudioRecord录音功能:

xml布局文件:

<?xml version="1.0" encoding="utf-8"?>
<FrameLayout xmlns:android="http://schemas.android.com/apk/res/android"android:layout_width="fill_parent"android:layout_height="fill_parent"><SurfaceViewandroid:id="@+id/surfaceView1"android:layout_width="fill_parent"android:layout_height="fill_parent"/><LinearLayoutandroid:layout_width="wrap_content"android:layout_gravity="bottom|center_horizontal"android:layout_height="wrap_content"android:orientation="horizontal"><Buttonandroid:onClick="onClick"android:id="@+id/start_btn"android:layout_width="wrap_content"android:layout_height="wrap_content"android:text="开始"/><Buttonandroid:onClick="onClick"android:layout_marginLeft="80dp"android:id="@+id/btnStop"android:layout_width="80dip"android:layout_height="wrap_content"android:text="停止"/></LinearLayout>
</FrameLayout>

java代码:

package com.jared.helloffmpeg;import android.app.Activity;
import android.content.pm.ActivityInfo;
import android.media.*;
import android.media.AudioRecord;
import android.os.Bundle;
import android.os.Environment;
import android.support.annotation.Nullable;
import android.util.Log;
import android.view.SurfaceHolder;
import android.view.SurfaceView;
import android.view.View;
import android.widget.Toast;import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;public class RecordMP4Push extends Activity implements View.OnClickListener, SurfaceHolder.Callback {private SurfaceView surfaceView;private byte[] outBuf;private boolean isStart=false;private AudioRecord audioRecord;private int bufferSize;@Overrideprotected void onCreate(@Nullable Bundle savedInstanceState) {super.onCreate(savedInstanceState);setRequestedOrientation(ActivityInfo.SCREEN_ORIENTATION_LANDSCAPE);setContentView(R.layout.record_aac_and_pcm);surfaceView=findViewById(R.id.surfaceView1);surfaceView.getHolder().addCallback(this);}private void initAudioRecord() {int sampleRateInHz = 48000;//采样率int channel= AudioFormat.CHANNEL_IN_STEREO;//声道数int audioFormat=AudioFormat.ENCODING_PCM_16BIT;//位宽bufferSize = AudioRecord.getMinBufferSize(sampleRateInHz, channel, audioFormat);audioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, sampleRateInHz, channel, audioFormat, bufferSize*4);outBuf=new byte[bufferSize];Log.i(getClass().getSimpleName(), "init record="+bufferSize);}@Overridepublic void onClick(View view) {if (view.getId()==R.id.start_btn){isStart=true;initAudioRecord();new Thread(new Runnable() {@Overridepublic void run() {startRecord();}}).start();Toast.makeText(this, "开始录制",Toast.LENGTH_SHORT).show();}if (view.getId()==R.id.btnStop){isStart=false;Toast.makeText(this, "停止录制",Toast.LENGTH_SHORT).show();}}private void startRecord() {FileOutputStream fileOutputStream=null;try {audioRecord.startRecording();fileOutputStream=new FileOutputStream(new File(Environment.getExternalStorageDirectory().getAbsolutePath()+"/outputs.pcm"));while (isStart){int len = audioRecord.read(outBuf, 0, bufferSize);if (len == AudioRecord.ERROR_INVALID_OPERATION || len == AudioRecord.ERROR_BAD_VALUE) {continue;}if (len != 0 && len != -1) {fileOutputStream.write(outBuf, 0, len);}}} catch (Exception e) {e.printStackTrace();} finally {try {fileOutputStream.flush();fileOutputStream.close();} catch (IOException e) {e.printStackTrace();}audioRecord.stop();audioRecord.release();audioRecord=null;}}@Overridepublic void surfaceCreated(SurfaceHolder surfaceHolder) {}@Overridepublic void surfaceChanged(SurfaceHolder surfaceHolder, int i, int i1, int i2) {}@Overridepublic void surfaceDestroyed(SurfaceHolder surfaceHolder) {}
}

《android多媒体api》之AudioRecord原始音频pcm录制api相关推荐

  1. 《android多媒体api》之AudioTrack原始音频pcm播放api

    <android多媒体api>系列是整合梳理android开发中经常用到的媒体相关api:多媒体开发主要内容有音频.视频录制播放.摄像头操作.录制操作.流媒体.直播.推流.拉流等方面:最近 ...

  2. 《android多媒体api》之MediaRecorder音视频录制api

    <android多媒体api>系列是整合梳理android开发中经常用到的媒体相关api:多媒体开发主要内容有音频.视频录制播放.摄像头操作.录制操作.流媒体.直播.推流.拉流等方面:最近 ...

  3. Android 音视频开发(二):使用 AudioRecord 采集音频PCM并保存到文件(学习笔记)

    关于 AudioRecord Android SDK 提供了两套音频采集的API,分别是:MediaRecorder 和 AudioRecord,前者是一个更加上层一点的API,它可以直接把手机麦克风 ...

  4. android pcm文件大小_Android 音视频开发(二):使用 AudioRecord 采集音频PCM并保存到文件...

    一.AudioRecord API详解 AudioRecord是Android系统提供的用于实现录音的功能类. 要想了解这个类的具体的说明和用法,我们可以去看一下官方的文档: AndioRecord类 ...

  5. android多媒体部分学习笔记八------音频录制 mediaRecorder

    /**  * 原始音频的播放和录制  *   * audio  *   * audioTrack  *   *   * @time 下午12:58:03  * @author retacn yue   ...

  6. Android如何将采集到的音频PCM文件转为WAV并保存

    1.Android音频采集 添加权限 <uses-permission android:name="android.permission.RECORD_AUDIO" /> ...

  7. AudioRecord 采集音频PCM数据

    AudioRecord 可以用来采集音频原始数据(PCM)格式,使用起来非常简单. 主要就是构造函数的定义 AudioRecord(int audioSource, int sampleRateInH ...

  8. Android SDK 提供的3套音频播放的API之玩转SoundPool,面试流程4轮技术面+1轮HR

    1.SoundPool的使用 1.1.准备音频资源 将准备的音频文放入assets文件夹下或者res下的raw文件夹下: assets下可以再新建文件夹批量加载,而raw只能同级存放单个加载: 在as ...

  9. android全格式多媒体播放器,Android多媒体应用使用MediaPlayer播放音频

    Android提供了对常用音频和视频格式的支持,它所支持的音频格式有MP3(.mp3).3GPP(.3gp).Ogg(.ogg)和WAVE(.ave)等,支持的视频格式有3GPP(.3gp)和MPEG ...

最新文章

  1. sql 2008服务器响应慢,SQL Server 2008停止响应后,Web服务器不活动
  2. 【USACO】电子游戏 有条件的背包
  3. springboot生成包含特定数字_面试必问 —— Spring Boot 是如何实现自动配置的?
  4. 使用SampleGrabber过滤器扑获图像
  5. 微软 Windows XP 源代码遭泄露!
  6. 视差图Disparity与深度图Depth Map的一点知识
  7. s7-200plc编程及应用_西门子S7200PLC编程应用15个为什么
  8. 蚂蚁算法matlab
  9. 12个偏微分方程常用的不等式
  10. PyTorch 1.x 常用知识
  11. 编程中实例是什么?什么是实例?实例化又是什么?什么是类?什么是对象?
  12. 读论文(4)——FPN
  13. Router-Link详解
  14. 推特文本情感多分类高分方案
  15. 返回const指针与返回const引用区别
  16. 小程序指定页面二维码生成
  17. Qt 系统下的qm翻译文件
  18. 铁路行李随车托运办理
  19. live555源码分析----关于mp3的处理
  20. 计算机组成原理实验——单周期CPU相关问题

热门文章

  1. 出国申请PS注意事项
  2. 元宇宙真正大赢家,起底英伟达布局!揭秘五大关键技术
  3. Anaconda3 下载安装及不同python环境配置(Linux/Windows)
  4. linux克隆后修改网卡名称,vmware虚拟机克隆后网卡修改
  5. 设计模式(6)[JS版]-JavaScript如何实现抽象工厂模式?
  6. Spring使用静态工厂和实例化工厂创建对象
  7. 高速缓冲存储器cache-主存映射方式介绍及替换算法
  8. angular:ng-template 使用ngif和ngifelse
  9. cin读入多行用空格隔开的数字并放进不同vector-利用cin.get()
  10. EXCEL中公式如何保护,防止别人误删或者修改