DVR行车记录仪与APP的直播，开发过程难点记录

最近做一个APP与行车记录仪的直播功能。
C层同事说没有后台服务器支撑，所以我之前编译好的ijkplayer的so库也就没用了。

与C层同事沟通如下：

1、JNI调用这块我自己写（不是很熟悉....呜呜）

2、根据C层的结构体，我Java这边写出对应的实体类bean

目前大致是这样的。

问题点：

1、在JNI层进行回调实时流数据到Java层，代码如下：

 //获取流数据,里面的OnGetFrameListener 接口是需要传到JNI层进行回调的public native void getFrame(OnGetFrameListener frameListener);// 这个是回调接口public interface OnGetFrameListener {public  void getFrameData(FrameDataBean dataBean);}

下面是JNI代码：

//获取要回调的方法IDgetFrameMethodId = (*env).GetMethodID(javaClass,"方法名","方法的相关签名");// 这个是需要回调的方法中的参数
jclass class_temp = (*env).FindClass("包名/类名");// 创建一下jni线程，用于处理循环获取实时数据流
pthread_t pt;// 获取参数对象（object）中的每个参数
env->GetFieldID()// 给每个参数赋值,根据参数类型的不同选择不同的SetXXField()方法
env->SetObjectField()在这里要注意：如果是实时的传递大数据，比如大型的数组，我们应该这么处理：// 创建一个jobject,对应的就是 ByteBuffer
jobject buffer = 0;
buffer = env->NewDirectByteBuffer();
(*env).SetObjectField(X, X, buffer);这个很关键，浪费我2天时间

这样的话就获取到实时数据流了。
2、播放实时数据流（我这里C层给的是一帧一帧的char[]，java可以转为byte[]）

首先，我们得要问一下C层同事：给的帧数据中有没有包含帧头部，这与我们之后的解码相关，我这里是没有帧头部的。

这里只给出方法名：

// 参数frame是我们需要处理的帧数据，offset正常没有偏移设为0，length是我们的数组长度（这些都是没有帧头部的情况；假如有帧头部的话，offset就是帧头部的长度，length就是数组长度-帧头部长度）
private void onFrame(byte[] frame, int offset, int length)

可以参考这个链接：https://blog.csdn.net/qq_36467463/article/details/77977562

3、假如是播放有服务器的直播或者回放的话

这个我们可以自己编译ijkplayer，这个有FFmpeg内核处理，需要支持h264 aac h265 http https都可以在相关的ffmpeg文件中进行修改，我自己编译好的so库就不给大家了，毕竟需求不一样。

4、在JNI中开启线程，从C层循环获取数据【一帧h264数据】后，用mediacode解码导致画面延迟、马赛克

在jni中开启线程循环获取数据（线程不休眠或者休眠时间很短暂，此【usleep】方法），这时候mediacode解码会报错：MediaCodec.native_dequeueInputBuffer java.lang.IllegalStateException；这样的情况会导致完全展示不了帧画面或者延迟、马赛克。

解决办法：但是经过调试，在jni的线程while循环中usleep 10毫秒的话，可以正常解码，正常播放直播。

原理以及问题的产生点：如果不做线程休眠会导致硬解码这边的缓冲区溢出。

5、处理Android10系统连接WiFi导致socket在不同网段无法通讯的问题

处理：WiFi连接方式改用之前的连接方法，

wifiManager.disableNetwork(wifiManager.getConnectionInfo().getNetworkId());int netId = wifiManager.addNetwork(getWifiConfig(ssid, capabilities, pws));boolean isConnected = wifiManager.enableNetwork(netId, true);

Android10 的WiFi连接方式为，

private void connectWifiVersionCodeQ(String ssid, String pws, final ConnectWifi connectWifi) {if (Build.VERSION.SDK_INT >= Build.VERSION_CODES.Q) {NetworkSpecifier specifier = new WifiNetworkSpecifier.Builder().setSsidPattern(new PatternMatcher(ssid, PatternMatcher.PATTERN_PREFIX)).setWpa2Passphrase(pws).build();NetworkRequest request = new NetworkRequest.Builder().addTransportType(NetworkCapabilities.TRANSPORT_WIFI).removeCapability(NetworkCapabilities.NET_CAPABILITY_INTERNET).setNetworkSpecifier(specifier).build();connectivityManager = (ConnectivityManager) context.getSystemService(Context.CONNECTIVITY_SERVICE);networkCallback = new ConnectivityManager.NetworkCallback() {@Overridepublic void onAvailable(@NonNull Network network) {try {network.bindSocket(TcpTestClass.TCP_TEST_CLASS.getSocket());} catch (IOException e) {e.printStackTrace();LogUtil.LOG_UTIL.e(this, "e: " + e);}connectWifi.connectSuccess();}@Overridepublic void onUnavailable() {connectWifi.connectFail();}};connectivityManager.requestNetwork(request, networkCallback);}}

当然假如你对手机有root权限，在手机的路由表添加IP地址也可以，但是Android这块在底层已经写死，也不建议这么做。

6、使用mediacode解码AAC帧数据，有的可以解码，有的不能解码的问题：

背景：项目播放的AAC是终端设备那边传送过来的实时流帧数据，采用mediacode进行硬解码

问题点：同一样的代码，对于不同的AAC文件，有的可以解码，有的不能解码。例如：

 MediaFormat mediaFormat = new MediaFormat();//数据类型mediaFormat.setString(MediaFormat.KEY_MIME, mine);//声道个数mediaFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, KEY_CHANNEL_COUNT);//采样率mediaFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, KEY_SAMPLE_RATE);//比特率mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 95435);//用来标记AAC是否有adts头，1->有mediaFormat.setInteger(MediaFormat.KEY_IS_ADTS, 1);//用来标记aac的类型mediaFormat.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC);byte[] data = new byte[]{(byte) 0x11, (byte) 0x90};ByteBuffer csd_0 = ByteBuffer.wrap(data);mediaFormat.setByteBuffer("csd-0", csd_0);//解码器配置mDecoder.configure(mediaFormat, null, null, 0);

这样设置的MediaFormat对应的是这样的AAC：

箭头标注的是AudioTrack的构造函数的参数。

下面是另外一个AAC文件格式，项目中用到的AAC格式：

MediaFormat mediaFormat = new MediaFormat();//数据类型mediaFormat.setString(MediaFormat.KEY_MIME, mine);//声道个数mediaFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, KEY_CHANNEL_COUNT);//采样率mediaFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, KEY_SAMPLE_RATE);//比特率mediaFormat.setInteger(MediaFormat.KEY_BIT_RATE, 15678);//用来标记AAC是否有adts头，1->有mediaFormat.setInteger(MediaFormat.KEY_IS_ADTS, 1);//用来标记aac的类型mediaFormat.setInteger(MediaFormat.KEY_AAC_PROFILE, MediaCodecInfo.CodecProfileLevel.AACObjectLC);//ADT头的解码信息byte[] data = new byte[]{(byte) 0x15, (byte) 0x88};ByteBuffer csd_0 = ByteBuffer.wrap(data);mediaFormat.setByteBuffer("csd-0", csd_0);//解码器配置mDecoder.configure(mediaFormat, null, null, 0);

两者的能否解码成功，主要还是看 mediaFormat.setByteBuffer("csd-0", csd_0)，ADT头的解码信息这块。具体说明可以参考下面这个博客：https://blog.csdn.net/chailongger/article/details/84378721。

一开始用同样的代码，解码失败，各种查看AAC信息，设置采样率、声道等等都解码失败，最后发现关键点还是mediaFormat.setByteBuffer("csd-0", csd_0)，ADT头的解码信息这块。还是对于这块不熟啊！！！！！！

7、使用MediaMuxer合成实时流的h264+aac帧数据封装成MP4问题点

首先对于这个不熟悉，看文档以及网上各种搜，大部分都是合成文件形式的demon，这个大家可以去查一下，网上很多的；但是我这项目是实时流，所以这又是一个坑，哈哈哈............

我接下来要讲的内容，希望大家先看一下这篇文章：https://blog.csdn.net/stn_lcd/article/details/72625954

大致流程就是

new MediaMuxer()--->mediaMuxer.addTrack()--->mediaMuxer.start()--->mediaMuxer.writeSampleData()

1、mediaMuxer.addTrack(MediaFormat format)

一、对于h264的format我们最重要的是设置pps和PSP，

mediaFormat.setByteBuffer("csd-0", ByteBuffer.wrap(csd0));
mediaFormat.setByteBuffer("csd-1", ByteBuffer.wrap(csd1));根据h264的PSP、pps规则，0x67之后表示的为PSP，0x68之后的为pps，他们中间以0x00, 0x00, 0x00, 0x01分隔，一般这个都不会变的，我是用notepad++的HEX 16进制插件查看的h264的PSP、pps。

二、对于AAC的format我们则需要设置

mediaFormat.setByteBuffer("csd-0", csd_0)，adt头的编码信息？我AAC解码的adt头的解码信息和在这的adt头信息不一样，得要根据声道数、采样率算出对应的16进制

2、MediaCodec.BufferInfo作为mediaMuxer.writeSampleData()中参数，

videoBufferInfo.size = videoByteBuffer.limit();videoBufferInfo.offset = 0;videoBufferInfo.flags = type;videoBufferInfo.presentationTimeUs += 1000 * 1000 / VIDEO_FRAME_RATE;

h264:size、offset不用说了，flags标志的为是否关键帧，我这C层会回调给我I帧是时候，flags=1，其他flags=0，videoBufferInfo.presentationTimeUs表示h264的时间戳（单位微秒），所以我这是1000*1000/帧率之后自增

AAC：size、offset不用说了，flags标志的为是否关键帧，我这都给flags=1了，我用FFmpeg的ffprobe命令查看MP4的AAC信息flags都是关键帧，presentationTimeUs=1024*1000/采样率*1000的自增。

3、什么时候mediaMuxer.addTrack()？

h264、AAC我都是在mDecoder.dequeueOutputBuffer（）=INFO_OUTPUT_FORMAT_CHANGED执行的

4、MediaMuxer在调用stop出错的问题：

format没设置正确、MediaCodec.BufferInfo没设置正确、addtrack()方法调用时机不正确等等都会导致

5、合成的视频有马赛克或者花屏？

这个是由于视频帧数据输入的时候不是从I帧关键帧开始的，我们只需要判断实时流帧数据的类型，从I帧开始进行合成就行