最近由于项目需要，研究了直播的推拉流以及滤镜叠加的效果，在此记录一下一些小的细节。

前期做了直播SDK的调研，发现七牛云的SDK更符合项目需求一点，所以，最终选择了七牛云的SDK。

推流

七牛云官方的帮助文档有点坑，sdk更新了，但是帮助文档没有更新，所以去看看七牛云Demo会更方便上手一点。

导入SDK

导入SDK

初始化

public class MyApp extends Application{

@Override

public void onCreate() {

super.onCreate();

StreamingEnv.init(getApplicationContext());

}

}

manifest中配置权限

android:glEsVersion="0x00020000"

android:required="true"/>

直播类布局

android:id="@+id/cameraPreview_afl"

android:layout_width="match_parent"

android:layout_height="match_parent"

android:layout_alignParentTop="true"

android:layout_centerHorizontal="true">

android:visibility="gone"

android:id="@+id/cameraPreview_surfaceView"

android:layout_width="match_parent"

android:layout_height="match_parent"

android:layout_gravity="center"/>

android:id="@+id/glSurfaceView"

android:layout_width="match_parent"

android:layout_height="match_parent"/>

推流有三个比较重要的类：

StreamingProfile (推流参数设置)

CameraStreamingSetting (所有摄像头相关的配置)

MediaStreamingManager (推流 SDK 的核心类)

这里说明一下，如果需要自定义滤镜的话，从七牛云SDK中获取相机的原始流数据YUV做转换，叠加滤镜效果再推流是件很麻烦的事情。首先你要了解图形学和C的知识，其中涉及到很多转码解码的操作，只有通过native去操作openGL的方式才能达到可使用的标准，不然就会很卡顿，即使你把耗时操作放在子线程中也是一样的。所以最佳的方式是通过native操作openGL利用CPU去叠加滤镜效果。滤镜效果的实现在以后的文章中会做详细的介绍，这篇文章是只是简单的实现直播。

StreamingProfile

streamingProfile = new StreamingProfile();

try {

streamingProfile

/*-----------------通过setVideoQuality设置推流视频部分质量参数------------

Level Fps Video Bitrate(Kbps)

VIDEO_QUALITY_LOW1 12 150

VIDEO_QUALITY_LOW2 15 264

VIDEO_QUALITY_LOW3 15 350

VIDEO_QUALITY_MEDIUM1 30 512

VIDEO_QUALITY_MEDIUM2 30 800

VIDEO_QUALITY_MEDIUM3 30 1000

VIDEO_QUALITY_HIGH1 30 1200

VIDEO_QUALITY_HIGH2 30 1500

VIDEO_QUALITY_HIGH3 30 2000

*/

.setVideoQuality(StreamingProfile.VIDEO_QUALITY_MEDIUM2)

/*-----------------通过setAudioQuality设置推流音频部分质量参数------------

Level Audio Bitrate(Kbps) Audio Sample Rate(Hz)

AUDIO_QUALITY_LOW1 18 44100

AUDIO_QUALITY_LOW2 24 44100

AUDIO_QUALITY_MEDIUM1 32 44100

AUDIO_QUALITY_MEDIUM2 48 44100

AUDIO_QUALITY_HIGH1 96 44100

AUDIO_QUALITY_HIGH2 128 44100

*/

.setAudioQuality(StreamingProfile.AUDIO_QUALITY_MEDIUM2)

//自定义设置推流分辨率，此优先级高于setEncodingSizeLevel

// .setPreferredVideoEncodingSize(960, 544)

/*---------------设置推流的分辨率-------------------------------------------

Level Resolution(16:9) Resolution(4:3)

VIDEO_ENCODING_HEIGHT_240 424 x 240 320 x 240

VIDEO_ENCODING_HEIGHT_480 848 x 480 640 x 480

VIDEO_ENCODING_HEIGHT_544 960 x 544 720 x 544

VIDEO_ENCODING_HEIGHT_720 1280 x 720 960 x 720

VIDEO_ENCODING_HEIGHT_1088 1920 x 1088 1440 x 1088

*/

.setEncodingSizeLevel(StreamingProfile.VIDEO_ENCODING_HEIGHT_480)

/*--------------通过setEncoderRCMode设置质量优先还是码率优先----------------

EncoderRCModes.QUALITY_PRIORITY: 质量优先，实际的码率可能高于设置的码率

EncoderRCModes.BITRATE_PRIORITY: 码率优先，更精确地码率控制

默认值为 EncoderRCModes.QUALITY_PRIORITY*/

.setEncoderRCMode(StreamingProfile.EncoderRCModes.BITRATE_PRIORITY)

/*--------------通过AVProfile参数自定义推流音视频码率帧率--------------------

自定义设置音频采样率为44100Hz, 码率为96 * 1024 bps

自定义设置视频帧率为30, 码率为1000 * 1024 bps,最大帧率为48

setAVProfile 的优先级高于 Quality，也就是说，当同时调用了 Quality 和 AVProfile 的设置，AVProfile 会覆盖 Quality 的设置值

.setAVProfile(avProfile)*/

.setDnsManager(getMyDnsManager())

.setAdaptiveBitrateEnable(true)

.setFpsControllerEnable(true)

.setStreamStatusConfig(new StreamingProfile.StreamStatusConfig(3))

/* 推流地址*/

.setPublishUrl(publishurl)

/*-------------------设置推流播放端方向-------------------------------

设置ENCODING_ORIENTATION.LAND推流播放端会横屏播放

设置ENCODING_ORIENTATION.PORT推流播放端会竖屏播放

.setEncodingOrientation(StreamingProfile.ENCODING_ORIENTATION.PORT)*/

.setSendingBufferProfile(new StreamingProfile.SendingBufferProfile(0.2f, 0.8f, 3.0f, 20 * 1000));

CameraStreamingSetting

mCameraStreamingSetting = new CameraStreamingSetting();

mCameraStreamingSetting

.setCameraId(Camera.CameraInfo.CAMERA_FACING_FRONT)

.setContinuousFocusModeEnabled(true)

.setCameraPrvSizeLevel(CameraStreamingSetting.PREVIEW_SIZE_LEVEL.LARGE)

.setCameraPrvSizeRatio(CameraStreamingSetting.PREVIEW_SIZE_RATIO.RATIO_16_9);

MediaStreamingManager

刚刚提到了叠加滤镜效果，在七牛云的SDK中自带了美颜的特效。如果按照以上步骤来初始化推流的一些参数的话，相机就是使用的七牛云自带的相机，你不好去操作camera中的流数据。

public interface StreamingPreviewCallback {

public boolean onPreviewFrame(byte[] bytes, int width, int height, int rotation, int fmt, long tsInNanoTime);

}

这里去操作取到的byte数组很耗时，唯一觉得靠谱的方式就是通过native去调用openGL叠加。

这一点七牛云api要开放一点，自定义滤镜效果的话就是用StreamingManager。

StreamingManager 是类似 MediaStreamingManager 的一个类，两者的区别是：StreamingManager 不带采集，仅包含编码、封包推流模块，从功能层面可以理解为： MediaStreamingManager = 采集模块 + (处理模块) + StreamingManager。

这里有点需要注意的是，七牛云推流时有一个鉴权的机制，你推流时需要先请求服务器，由服务器给你返回你的推流地址，笔者使用的是不需要鉴权的推流地址。关于鉴权可以参照七牛云推流端的demo。

streamingManager = new MediaStreamingManager(this, mCameraPreviewAfl, mGlSurfaceView,

/* hw codec ----- soft codec */

AVCodecType.HW_VIDEO_SURFACE_AS_INPUT_WITH_HW_AUDIO_CODEC);

MicrophoneStreamingSetting (可选)

/*------------------------麦克风参数配置-----------------------------*/

mMicrophoneStreamingSetting = new MicrophoneStreamingSetting();

/*希望增加蓝牙麦克风的支持,可以设置:*/

mMicrophoneStreamingSetting.setBluetoothSCOEnabled(false);

准备推流

streamingManager.prepare(mCameraStreamingSetting, mMicrophoneStreamingSetting, streamingProfile);

streamingManager.setStreamingStateListener(this);

然而真正开始推流是在onStateChanged这个回调中：

@Override

public void onStateChanged(StreamingState streamingState, Object o) {

Log.e(TAG, "StreamingState streamingState:" + streamingState + ",extra:" + o);

switch (streamingState) {

case PREPARING:

Log.e(TAG, "onStateChanged: " + "准备" );

break;

case READY:

// start streaming when READY

new Thread(new Runnable() {

@Override

public void run() {

if (streamingManager != null) {

boolean b = streamingManager.startStreaming();

Log.e(TAG, "run: " + "推流" + b);

}

}

}).start();

break;

case CONNECTING:

Log.e(TAG, "onStateChanged: " + "已连接");

break;

case STREAMING:

Log.e(TAG, "onStateChanged: " + "已发送");

// The av packet had been sent.

break;

case SHUTDOWN:

Log.e(TAG, "onStateChanged: " + "推流完成");

// The streaming had been finished.

break;

case IOERROR:

Log.e(TAG, "onStateChanged: " + "IO错误");

// Network connect error.

break;

case SENDING_BUFFER_EMPTY:

Log.e(TAG, "onStateChanged: " + "缓冲区数据为空");

break;

case SENDING_BUFFER_FULL:

Log.e(TAG, "onStateChanged: " + "缓冲区数据存满");

break;

case AUDIO_RECORDING_FAIL:

Log.e(TAG, "onStateChanged: " + "录音失败");

// Failed to record audio.

break;

case OPEN_CAMERA_FAIL:

Log.e(TAG, "onStateChanged: " + "打开相机失败");

// Failed to open camera.

break;

case DISCONNECTED:

Log.e(TAG, "onStateChanged: " + "断开连接");

// The socket is broken while streaming

break;

}

}

值得注意的是推流操作需要在子线程中进行。其次是需要在生命周期中及时的释放掉

@Override

protected void onResume() {

super.onResume();

streamingManager.resume();

}

@Override

protected void onPause() {

super.onPause();

// You must invoke pause here.

streamingManager.pause();

}

拉流端和叠加滤镜效果后面更新，实例代码LiveStreamDemo已上传至github