音视频开发系列(27)AudioRecord录制PCM音频

一、音频采集API AudioRecord和MediaRecorder

AndroidSDK提供了两套音频录制的API，AudioRecord和MediaRecorder。其中MediaRecorder是更加上层的API，他可以直接对手机麦克风录入的音频数据进行压缩编码（比如 mp3），并存储为文件。而AudioRecord更底层些，让开发者能够得到内存中的PCM音频流数据，适用于需要对音频做进一步处理（比如，音效，第三方编码库进行压缩，或者网络传输等）。
MediaRecorder内部也是调用了AudioRecord与Framework层的AudioFlinger进行交互。

二、PCM的介绍

PCM（Pluse code Modulation 脉冲编码调制）是一种无压缩的音频格式。模拟音频信号经过A/D模数转换直接生成的二进制序列时，音频源数据（raw）。

声音经过麦克风，转换为一连串的电压信号，然后经过调制编码把电压信号转为数字信号。PCM格式使用三个参数来表示声音：采样率（sampleRate）、采样位数（audioFormat，有8位和16位，分大小端编码）以及声道数（channels）

采样频率：每秒取得声音样本的次数。采样频率越高，声音的质量也就越好，还原的声音就越真实，但同时它占用的资源越多。
采样位数：即采样值（将采样样本幅度量化的容量），用来衡量声音波动变化的一个参数。也能够说是声卡的分辨率。它的数值越大，分辨率就越高，所发出声音的能力越强。
声道数：有单声道和立体声之分。单声道的声音仅仅能使用一个喇叭发声，立体声的 PCM 能够使两个喇叭同时发声，更能感受到空间效果

三、AudioRecord的使用（构造、开始录制写入pcm文件，状态机）

3.1 构造AudioRecord

我们首先通过AudioRecord的构造器，来了解下需要的参数

public AudioRecord(int audioSource, int sampleRateInHz, int channelConfig, int audioFormat,
int bufferSizeInBytes)

来看下构造方法中的5个参数
audioSource：音频输入源，比如有麦克风等，通过MediaRecord.AudioSource获取。
sampleRateInHz：音频采样率，常见的采样率为44100即44.1KHZ
channelConfig：音频录制时的声道，分为单声道和立体声道，在AudioFormat中定义。
audioFormat：音频格式
bufferSizeInBytes：音频缓冲区大小，不同手机厂商有不同的实现（比如我的一加手机该值为3584字节），可以通过下面的方法获取。
static public int getMinBufferSize(int sampleRateInHz, int channelConfig, int audioFormat)

具体使用如下：
private void createAudioRecord() {
sampleRateInHz = 44100;
channelConfig = AudioFormat.CHANNEL_IN_MONO;
audioFormat = AudioFormat.ENCODING_PCM_16BIT;
bufferSize = AudioRecord.getMinBufferSize(sampleRateInHz, channelConfig, audioFormat);
audioRecord = new AudioRecord(MediaRecorder.AudioSource.MIC, sampleRateInHz, channelConfig, audioFormat, bufferSize);

  //audioRecord的状态int state = audioRecord.getState();Log.d(TAG, "createAudioRecord: state=" + state + " bufferSize=" + bufferSize);if (AudioRecord.STATE_INITIALIZED != state) {new Exception("AudioRecord无法初始化，请检查录制权限或者是否其他app没有释放录音器");}
}private void initPCMFile() {pcmFile = new File(getExternalFilesDir(Environment.DIRECTORY_MUSIC), "raw.pcm");Log.d(TAG, "initPCMFile: pcmFile=" + pcmFile);}

3.2 开始录制以及读取录制数到pcm文件

在录音过程中，应用所需要做的就是通过 read(byte[], int, int), read(short[], int, int) or read(ByteBuffer, int) 不断地获取数据

private void startRecord() {

  if (pcmFile.exists()) {pcmFile.delete();}isRecording = true;final byte[] buffer = new byte[bufferSize];audioRecord.startRecording();new Thread(new Runnable() {@Overridepublic void run() {FileOutputStream fileOutputStream = null;try {fileOutputStream = new FileOutputStream(pcmFile);if (fileOutputStream != null) {while (isRecording) {int readStatus = audioRecord.read(buffer, 0, bufferSize);Log.d(TAG, "run: readStatus=" + readStatus);fileOutputStream.write(buffer);}}} catch (IOException e) {e.printStackTrace();Log.e(TAG, "run: ", e);} finally {if (fileOutputStream != null) {try {fileOutputStream.close();} catch (IOException e) {e.printStackTrace();}}}}}).start();
}

3.3 停止录制释放资源

private void stopRecord() {isRecording = false;if (audioRecord != null) {audioRecord.stop();}
}   protected void onDestroy() {super.onDestroy();if (audioRecord != null) {audioRecord.release();}audioRecord = null;
}

3.4 细节点（搞清楚为什么要在子线程开启读取录制数据）

audioRecord的read操作是一个阻塞的操作(READ_BLOCKING)，读取到buffersize大小后才释放.所以我们看到步骤三录制时，开启一个子线程进行数据的读取和写入pcm文件。
public int read(@NonNull byte[] audioData, int offsetInBytes, int sizeInBytes) {
return read(audioData, offsetInBytes, sizeInBytes, READ_BLOCKING);
}

AudioRecord的状态两个属性, 录制状态和初始化状态，
设置录制状态时首先片段是否已经初始化

public static final int STATE_UNINITIALIZED = 0;public static final int STATE_INITIALIZED   = 1;public static final int RECORDSTATE_STOPPED = 1;  public static final int RECORDSTATE_RECORDING = 3;/*** Lock to make sure mRecordingState updates are reflecting the actual state of the object.*/
private final Object mRecordingStateLock = new Object();

关注+后台私信我，领取2022最新最全学习提升资料包+面试题，内容包括（C/C++，Linux，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）

四、 ffplay播放pcm

PCM是源数据，没有封装格式头，一般播放器无法解析播放。可以采用ffplay进行播放或者对其进行转为为其他封装格式的文件（比如wav）进行播放

ffplay -f s16le -ar 44100 -ac 1 -i raw.pcm
参数解释

-f s16le: 即 设置音频格式（format）为有符号16位小端格式（signed 16 bits little endian）对应AudioFormat#ENCODING_PCM_16BIT
-ar：即audiorate 音频采样频率 ,对应AudioRecord构造方法中参数sampleRateInHz
-ac：即audiochannels ，采用的声道，单声为1，多声道为2
-i raw.pcm ：即要播放的pcm源

另外也可以通过ffplay直接直接把pcm转为wav，然后播放wav
ffmpeg -y -f s16le -ar 44100 -ac 1 -i raw.pcm out.wav
参数解释

-y：表示无需询问，直接覆盖输出文件
-i raw.pcm out.wav : raw.pcm是输入的文件，out.raw是输出的文件

然后可以直接使用ffplay进行wav的播放
ffplay out.wav

五、pcm转为wav

第四步我们看到了采用ffmpeg把pcm转为wav格式，那么有没有其他方式呐？
我们来看下wav的百科
. WAV是最常见的声音文件格式之一，是微软公司专门为Windows开发的一种标准数字音频文件，该文件能记录各种单声道或立体声的声音信息，并能保证声音不失真。它符合资源互换文件格式（RIFF）规范
它有两个特点 1. 无压缩；2. 符合RIFF规范。
那么我们可以采用给PCM文件写入wav的头，符合wav格式。具体实现

private void convertPcmToWav() {
wavFile = new File(getExternalFilesDir(Environment.DIRECTORY_MUSIC) , "convert.wav");
if (wavFile.exists()) {
wavFile.delete();
}

  FileInputStream fileInputStream = null;FileOutputStream fileOutputStream = null;try {fileInputStream = new FileInputStream(pcmFile);fileOutputStream = new FileOutputStream(wavFile);long audioByteLen = fileInputStream.getChannel().size();long wavByteLen = audioByteLen + 36;addWavHeader(fileOutputStream, audioByteLen, wavByteLen, sampleRateInHz,channelConfig, audioFormat);byte[] buffer = new byte[bufferSize];while (fileInputStream.read(buffer) != -1) {fileOutputStream.write(buffer);}} catch (IOException e) {e.printStackTrace();} finally {try {if (fileInputStream != null) {fileInputStream.close();}if (fileOutputStream != null) {fileOutputStream.close();}} catch (IOException e) {e.printStackTrace();}}}private void addWavHeader(FileOutputStream fileOutputStream, long audioByteLen, long wavByteLen, int sampleRateInHz, int channelConfig, int audioFormat) {byte[] header = new byte[44];// RIFF/WAVE header chunkheader[0] = 'R';header[1] = 'I';header[2] = 'F';header[3] = 'F';header[4] = (byte) (wavByteLen & 0xff);header[5] = (byte) ((wavByteLen >> 8) & 0xff);header[6] = (byte) ((wavByteLen >> 16) & 0xff);header[7] = (byte) ((wavByteLen >> 24) & 0xff);//WAVEheader[8] = 'W';header[9] = 'A';header[10] = 'V';header[11] = 'E';// 'fmt ' chunk 4 个字节header[12] = 'f';header[13] = 'm';header[14] = 't';header[15] = ' ';// 4 bytes: size of 'fmt ' chunk（格式信息数据的大小 header[20] ~ header[35]）header[16] = 16;header[17] = 0;header[18] = 0;header[19] = 0;// format = 1 编码方式header[20] = 1;header[21] = 0;// 声道数目int channelSize = channelConfig == AudioFormat.CHANNEL_IN_MONO ? 1 : 2;header[22] = (byte) channelSize;header[23] = 0;// 采样频率header[24] = (byte) (sampleRateInHz & 0xff);header[25] = (byte) ((sampleRateInHz >> 8) & 0xff);header[26] = (byte) ((sampleRateInHz >> 16) & 0xff);header[27] = (byte) ((sampleRateInHz >> 24) & 0xff);// 每秒传输速率long byteRate = audioFormat * sampleRateInHz * channelSize;header[28] = (byte) (byteRate & 0xff);header[29] = (byte) ((byteRate >> 8) & 0xff);header[30] = (byte) ((byteRate >> 16) & 0xff);header[31] = (byte) ((byteRate >> 24) & 0xff);// block align 数据库对齐单位，每个采样需要的字节数header[32] = (byte) (2 * 16 / 8);header[33] = 0;// bits per sample 每个采样需要的 bit 数header[34] = 16;header[35] = 0;//data chunkheader[36] = 'd';header[37] = 'a';header[38] = 't';header[39] = 'a';// pcm字节数header[40] = (byte) (audioByteLen & 0xff);header[41] = (byte) ((audioByteLen >> 8) & 0xff);header[42] = (byte) ((audioByteLen >> 16) & 0xff);header[43] = (byte) ((audioByteLen >> 24) & 0xff);try {fileOutputStream.write(header, 0, 44);} catch (IOException e) {e.printStackTrace();}
}

通过Beyond Compare对比pcm和wav发现，正如我们代码所示，在pcm数据源前加了44个字节的wav头

生成的wav可以直接播放器播放。

六、收获

通过对AudioRecord的学习实践，
了解音频录制中（AudioSource录制输入源；smapleRate录制采样率；录制声道配置AudioForamt；采样的格式；以及音频缓冲区大小bufferSize）
了解了音频录制的流程；
pcm和wav的关系以及如何转化；
结合AudioRecord的源码对录制的状态机的同步的设计
AudioRecord的read耗时操作，避免ANR，要在子线程中处理

感谢你的阅读。下一篇我们来实践分析下AudioTrack，即音频的播放