最近公司需要做一个人脸检测的新功能，在网上找了找，有很多开源的第三方库都可以用，例如OpenCV,虹软，Face++，百度，阿里等等。

由于在APP的需求，只能本地检测，所以Face++，百度，阿里这些需要用HTTP进行网络请求返回结果的，只能舍弃了。集中研究OpenCV以及虹软。

首先介绍一下虹软，这家公司开源了so库以及jar包，可直接下载集成到项目中，简单配置之后就可检测人脸，而且识别率还是不错的。可借鉴此博客点击打开链接。详细教你在Android Studio中使用虹软检测以及识别人脸。

接下来讲一下使用OpenCV开源库检测人脸。其实OpenCV非常强大，有兴趣的同学可以去查阅一下。目前只讲一下使用OpenCV通过Camera动态检测人脸。OpenCV搭建流程可百度，内容很多，这里仅做简单说明。

首先下载OpenCV4Android Demo，新建项目等操作省略，然后倒入OpenCV Samples中的face_detection项目，使用NDK编译检测的so库，倒入OpenCV SDK中的java Module到项目中，在app/src/main目录下新建jniLibs，复制sdk/native/libs/armeabi-v7a/libopencv_java3.so到jniLibs/armeabi-v7a中（可多选，arm，x86等，由于我只需要v7a即可，只倒入这个），复制sdk/native/jni/include到jniLibs下。可直接下载代码OpenCVJ。

到此搭建完工程，点击运行，发现只有横屏下才能正确检测到人脸，但是项目需求是在竖屏下检测人脸，怎么办，接着寻找答案，发现这篇博客OpenCV on Android 开发 （4）竖屏预览图像问题解决方法-续，在此多谢这位兄台的先驱行动，使用Core.rotate函数，最后一个参数填入Core.ROTATE_90_CLOCKWISE,旋转Gray Mat后可正确检测到人脸，返回MatOfRect，再把MatOfRect放入到mRgba中，再次通过Core.rotate函数，但是最后一个参数需填入Core.ROTATE_90_COUNTERCLOCKWISE，再返回到CameraBridgeViewBase中的deliverAndDrawFrame中，经过此操作后可以正确显示出人脸检测框。

使用上述方法就基本完成了。按照惯例，文章没有写完，肯定会有但是的，没错，这里也有。

但是：实际使用时，发现帧率只有10帧左右，完全无法接受，整个页面都是卡顿的，怎么办，接着寻找方法。想到一个idea，既然是检测，我只需要OpenCV的检测功能，不需要OpenCV来自己画图，直接使用camera的预览效果，我只把人脸检测框画到预览图上面去就好，这样可以保证预览不卡顿，只是检测框可能要一点时间才能显示，这也是无法避免的了。

首先看xml文件： ` <RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android" xmlns:opencv="http://schemas.android.com/apk/res-auto" android:layout_width="match_parent" android:layout_height="match_parent">

<org.opencv.android.JavaCameraViewandroid:id="@+id/fd_activity_surface_view"android:layout_width="match_parent"android:layout_height="match_parent"opencv:camera_id="back"/><Buttonandroid:id="@+id/fd_switch_camera_view"android:layout_width="100dp"android:layout_height="100dp"android:layout_marginLeft="220dp"android:layout_marginRight="20dp"android:layout_marginTop="20dp"/><ImageViewandroid:id="@+id/fd_image_view"android:layout_width="match_parent"android:layout_height="match_parent"/>
</RelativeLayout>

使用JavaCameraView开启Camera，id为fd_switch_camera_view为切换前置后置摄像头，id为fd_image_view用来显示人脸检测框。再看FdActivity.java文件，只展示主要修改地方：`
@Overridepublic Mat onCameraFrame(CvCameraViewFrame inputFrame){mGray = inputFrame.gray();Utils.bitmapToMat(mAlphaBitmap, mRgba);//使前置的图像也是正的if (mOpenCvCameraView.getCameraIndex() == CameraBridgeViewBase.CAMERA_ID_FRONT){Core.flip(mRgba, mRgba, 1);Core.flip(mGray, mGray, 1);}if (mAbsoluteFaceSize == 0){int height = mGray.rows();if (Math.round(height * mRelativeFaceSize) > 0){mAbsoluteFaceSize = Math.round(height * mRelativeFaceSize);}if (mNativeDetector != null){mNativeDetector.setMinFaceSize(mAbsoluteFaceSize);}}MatOfRect faces = new MatOfRect();Core.rotate(mGray, gMatlin, Core.ROTATE_90_CLOCKWISE);Core.rotate(mRgba, Matlin, Core.ROTATE_90_CLOCKWISE);if (mNativeDetector != null){mNativeDetector.detect(gMatlin, faces);}Rect[] faceArray = faces.toArray();for (Rect rect : faceArray){Imgproc.rectangle(Matlin, rect.tl(), rect.br(), new Scalar(0, 255, 0, 255), 2);}Core.rotate(Matlin, mRgba, Core.ROTATE_90_COUNTERCLOCKWISE);deliverAndDrawFrame(mRgba);return mRgba;}
protected void deliverAndDrawFrame(Mat modified){boolean bmpValid = true;if (modified != null){try{Utils.matToBitmap(modified, mCacheBitmap, true);}catch (Exception e){Log.e(TAG, "Mat type: " + modified);Log.e(TAG, "Bitmap type: " + mCacheBitmap.getWidth() + "*" + mCacheBitmap.getHeight());Log.e(TAG, "Utils.matToBitmap() throws an exception: " + e.getMessage());bmpValid = false;}}if (bmpValid && mCacheBitmap != null){mHandler.post(new Runnable(){@Overridepublic void run(){Matrix matrix = new Matrix(); // I rotate it with minimal processmatrix.preTranslate((mViewWidth - mCacheBitmap.getWidth()) / 2, (mViewHeight - mCacheBitmap.getHeight()) / 2);matrix.postRotate(90f, (mViewWidth) / 2, (mViewHeight) / 2);float scale = (float) mViewWidth / (float) mCacheBitmap.getHeight();matrix.postScale(scale, scale, mViewWidth / 2, mViewHeight / 2);//                    final Matrix matrix = new Matrix(); // I rotate it with minimal process//                    matrix.preTranslate((mViewWidth - mCacheBitmap.getWidth()) / 2, (mViewHeight - mCacheBitmap.getHeight()) / 2);//                    matrix.postRotate(90, mViewWidth / 2, mViewHeight / 2);//                    float scale = (float) mViewWidth / (float) mViewHeight;//                    matrix.postScale(scale, scale, mViewWidth / 2, mCacheBitmap.getHeight() / 2);Bitmap bitmap = Bitmap.createBitmap(mCacheBitmap, 0, 0, mCacheBitmap.getWidth(), mCacheBitmap.getHeight(), matrix, false);mImageView.setImageBitmap(bitmap);}});}}

上面两部分代码都为FdActivity中，将MatOfRect贴到Mat中，再转换成Bitmap显示到ImageView中。

JavaCameraView.java的修改：

initializeCamera函数增加

mCamera.setPreviewDisplay(getHolder());

mCamera.setDisplayOrientation(90);

CameraBridgeBaseView.java的修改 ` protected void deliverAndDrawFrame(CvCameraViewFrame frame) { Mat modified;

    if (mListener != null){modified = mListener.onCameraFrame(frame);}else{modified = frame.rgba();}

}

只需要调用onCameraFrame的回调即可，不用再贴图了。到此基本完成。后续还需要优化，等优化完再更新。。。。----------更新更新-----------回调onCameraFrame函数时，将Mat先缩小，然后再开始检测，可以大幅提升检测速度。使用Imgproc.resize()函数即可，具体使用可网上查阅。