JavaCV人脸识别三部曲之一：视频中的人脸保存为图片

欢迎访问我的GitHub

这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos

关于人脸识别

本文是《JavaCV人脸识别三部曲》的第一篇，在《JavaCV的摄像头实战之八：人脸检测》一文中，实现了检测人脸并用方框标注出来，但仅框出人脸作用不大，最好是识别出此人的身份，这样就能做很多事情了，例如签到、告警等，这就是接下来咱们要挑战的人脸识别
人脸识别涉及到两个步骤：训练和识别，接下来简单说明解释一下
先看什么是训练，如下图，用两位天王的六张照片来训练，一共两个类别，训练完成后得到模型文件faceRecognizer.xml：
训练成功后，我们拿一张新的照片给模型去识别，得到的结果是训练时的类别，如此识别完成，我们已确定了新照片的身份：
下面用流程图将训练和识别说得更详细一些：

关于《JavaCV人脸识别三部曲》

《JavaCV人脸识别三部曲》一共三篇文章，内容如下：

《视频中的人脸保存为图片》：本篇介绍如何通过JavaCV将摄像头中的每个人脸都检测出来，并且把每个人脸保存为图片，这种方法可以让我们快速获取大量人脸照片用于训练
《训练》：讲述如何用分类好的照片去训练模型
《识别和预览》：拿到训练好的模型，去识别视频中每一帧的人脸，把结果标注到图片上预览

整个三部曲也是《JavaCV的摄像头实战》系列的一部分，分别是《JavaCV的摄像头实战》系列的的第九、第十、第十一篇

本篇概览

本篇要做的事情就是把训练用的照片准备好
您可能会疑惑：我自己去找一些照片不就行了吗？去网上搜、去相册搜、去拍照不都可以吗？没错，只要找到您想识别的人脸即可，而本篇介绍的是另一种方法：借助摄像头检测人脸，然后将人脸大小的照片保存在硬盘，用这些照片来训练，实测多张照片训练处的模型在检测新照片时效果更好
具体做法如下：

写个程序，对摄像头的照片做人脸检测，每个检测到的人脸，都作一张图片保存，注意不是摄像头视频帧的完整图片，而是检测出每张人脸，把这个人脸的矩形作为图片保存，而且保存的是灰度图片，不是彩色图片（训练和检测只需要灰度图片）
然后找个没人的地方运行程序，一个人对着摄像头，开始…搔首弄姿，各种光线明暗、各种角度、各种表情都用上，作为图片保存

用这些图片训练出的模型，由于覆盖了各种亮度、角度、表情，最终的识别效果会更好
接下来我们就来写这段程序吧

源码下载

《JavaCV的摄像头实战》的完整源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blog_demos)：

名称	链接	备注
项目主页	https://github.com/zq2599/blog_demos	该项目在GitHub上的主页
git仓库地址(https)	https://github.com/zq2599/blog_demos.git	该项目源码的仓库地址，https协议
git仓库地址(ssh)	git@github.com:zq2599/blog_demos.git	该项目源码的仓库地址，ssh协议

这个git项目中有多个文件夹，本篇的源码在javacv-tutorials文件夹下，如下图红框所示：
javacv-tutorials里面有多个子工程，《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下：

编码：检测服务

先定义一个检测有关的接口DetectService.java，如下，主要是定义了三个方法init、convert、releaseOutputResource，其中init用于初始化检测服务，convert负责处理单个帧（本篇就是检测出人脸、把人脸照片保存在硬盘），releaseOutputResource在结束的时候被执行，用于释放资源，另外还有个静态方法buildGrayImage，很简单，生成灰度图片对应的Mat对象：

package com.bolingcavalry.grabpush.extend;import com.bolingcavalry.grabpush.Constants;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.*;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import static org.bytedeco.opencv.global.opencv_core.CV_8UC1;
import static org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;
import static org.bytedeco.opencv.global.opencv_imgproc.*;/*** @author willzhao* @version 1.0* @description 检测工具的通用接口* @date 2021/12/5 10:57*/
public interface DetectService {/*** 根据传入的MAT构造相同尺寸的MAT，存放灰度图片用于以后的检测* @param src 原始图片的MAT对象* @return 相同尺寸的灰度图片的MAT对象*/static Mat buildGrayImage(Mat src) {return new Mat(src.rows(), src.cols(), CV_8UC1);}/*** 初始化操作，例如模型下载* @throws Exception*/void init() throws Exception;/*** 得到原始帧，做识别，添加框选* @param frame* @return*/Frame convert(Frame frame);/*** 释放资源*/void releaseOutputResource();
}

然后就是DetectService的实现类DetectAndSaveService.java，完整代码如下，有几处要注意的地方稍后提到：

package com.bolingcavalry.grabpush.extend;import com.bolingcavalry.grabpush.Constants;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.javacpp.Loader;
import org.bytedeco.javacv.Frame;
import org.bytedeco.javacv.OpenCVFrameConverter;
import org.bytedeco.opencv.opencv_core.*;
import org.bytedeco.opencv.opencv_objdetect.CascadeClassifier;
import java.io.File;
import java.net.URL;
import java.text.SimpleDateFormat;
import java.util.Date;
import java.util.concurrent.atomic.AtomicInteger;
import static org.bytedeco.opencv.global.opencv_imgcodecs.imwrite;
import static org.bytedeco.opencv.global.opencv_imgproc.*;/*** @author willzhao* @version 1.0* @description 检测人脸并保存到硬盘的服务* @date 2021/12/3 8:09*/
@Slf4j
public class DetectAndSaveService implements DetectService {/*** 每一帧原始图片的对象*/private Mat grabbedImage = null;/*** 原始图片对应的灰度图片对象*/private Mat grayImage = null;/*** 分类器*/private CascadeClassifier classifier;/*** 转换器*/private OpenCVFrameConverter.ToMat converter = new OpenCVFrameConverter.ToMat();/*** 模型文件的下载地址*/private String modelFileUrl;/*** 存放人脸图片的位置*/private String basePath;/*** 记录图片总数*/private final AtomicInteger num = new AtomicInteger();/*** 训练的图片尺寸*/Size size = new Size(Constants.RESIZE_WIDTH, Constants.RESIZE_HEIGHT);/*** 构造方法，在此指定模型文件的下载地址* @param modelFileUrl 人脸检测模型地址* @param basePath 检测出的人脸小图在硬盘上的存放地址*/public DetectAndSaveService(String modelFileUrl, String basePath) {this.modelFileUrl = modelFileUrl;// 图片保存在硬盘的位置，注意文件名的固定前缀是当前的年月日时分秒this.basePath = basePath+ new SimpleDateFormat("yyyyMMddHHmmss").format(new Date())+ "-";}/*** 音频采样对象的初始化* @throws Exception*/@Overridepublic void init() throws Exception {// 下载模型文件URL url = new URL(modelFileUrl);File file = Loader.cacheResource(url);// 模型文件下载后的完整地址String classifierName = file.getAbsolutePath();// 根据模型文件实例化分类器classifier = new CascadeClassifier(classifierName);if (classifier == null) {log.error("Error loading classifier file [{}]", classifierName);System.exit(1);}}@Overridepublic Frame convert(Frame frame) {// 由帧转为MatgrabbedImage = converter.convert(frame);// 灰度Mat，用于检测if (null==grayImage) {grayImage = DetectService.buildGrayImage(grabbedImage);}String filePath = basePath + num.incrementAndGet();// 进行人脸识别，根据结果做处理得到预览窗口显示的帧return detectAndSave(classifier, converter, frame, grabbedImage, grayImage, filePath , size);}/*** 程序结束前，释放人脸识别的资源*/@Overridepublic void releaseOutputResource() {if (null!=grabbedImage) {grabbedImage.release();}if (null!=grayImage) {grayImage.release();}if (null==classifier) {classifier.close();}}/**** @param classifier 分类器* @param converter 转换工具* @param rawFrame 原始帧* @param grabbedImage 原始图片的Mat对象* @param grayImage 原始图片对应的灰度图片的Mat对象* @param basePath 图片的基本路径* @param size 训练时要求的图片大小* @return*/static Frame detectAndSave(CascadeClassifier classifier,OpenCVFrameConverter.ToMat converter,Frame rawFrame,Mat grabbedImage,Mat grayImage,String basePath,Size size) {// 当前图片转为灰度图片cvtColor(grabbedImage, grayImage, CV_BGR2GRAY);// 存放检测结果的容器RectVector objects = new RectVector();// 开始检测classifier.detectMultiScale(grayImage, objects);// 检测结果总数long total = objects.size();// 如果没有检测到结果就提前返回if (total<1) {return rawFrame;}// 假设现在是一个人对着摄像头，因为此时检测的结果如果大于1，显然是检测有问题if (total>1) {return rawFrame;}Mat faceMat;// 如果有检测结果，就根据结果的数据构造矩形框，画在原图上// 前面的判断确保了此时只有一个人脸Rect r = objects.get(0);// 从完整的灰度图中取得一个矩形小图的Mat对象faceMat = new Mat(grayImage, r);// 训练时用的图片尺寸是固定的，因此这里要调整大小resize(faceMat, faceMat, size);// 图片的保存位置String imagePath = basePath + "." + Constants.IMG_TYPE;// 保存图片到硬盘imwrite(imagePath, faceMat);// 人脸的位置信息int x = r.x(), y = r.y(), w = r.width(), h = r.height();// 在人脸上画矩形rectangle(grabbedImage, new Point(x, y), new Point(x + w, y + h), Scalar.RED, 1, CV_AA, 0);// 释放检测结果资源objects.close();// 将标注过的图片转为帧，返回return converter.convert(grabbedImage);}
}

上述代码有几处要注意：

detectAndSave方法中，当前照片检测出的人脸数如果大于1就提前返回不做处理了，这是因为假定运行程序的时候，摄像头前面只有一个人，所以如果检测出超过一张人脸，就认为当前照片的检测不准确，就不再处理当前照片了（实际使用中发现常有检测失误的情况，例如把一个矩形盒子检测为人脸），这个提前返回的逻辑，您可以根据自己的环境去调整
imwrite方法可以将Mat以图片的形式保存到硬盘
保存文件到磁盘前调用了resize方法，将图片调整为164*164大小，这是因为后面的训练和检测统一使用该尺寸

现在核心代码已经写完，需要再写一些代码来使用DetectAndSaveService

编码：运行框架

《JavaCV的摄像头实战之一：基础》创建的simple-grab-push工程中已经准备好了父类AbstractCameraApplication，所以本篇继续使用该工程，创建子类实现那些抽象方法即可
编码前先回顾父类的基础结构，如下图，粗体是父类定义的各个方法，红色块都是需要子类来实现抽象方法，所以接下来，咱们以本地窗口预览为目标实现这三个红色方法即可：
新建文件PreviewCameraWithDetectAndSave.java，这是AbstractCameraApplication的子类，其代码很简单，接下来按上图顺序依次说明
先定义CanvasFrame类型的成员变量previewCanvas，这是展示视频帧的本地窗口：

protected CanvasFrame previewCanvas

把前面创建的DetectService作为成员变量，后面检测的时候会用到：

    /*** 检测工具接口*/private DetectService detectService;

PreviewCameraWithDetectAndSave的构造方法，接受DetectService的实例：

    /*** 不同的检测工具，可以通过构造方法传入* @param detectService*/public PreviewCameraWithDetectAndSave(DetectService detectService) {this.detectService = detectService;}

然后是初始化操作，可见是previewCanvas的实例化和参数设置：

    @Overrideprotected void initOutput() throws Exception {previewCanvas = new CanvasFrame("摄像头预览，检测人脸并保存在硬盘", CanvasFrame.getDefaultGamma() / grabber.getGamma());previewCanvas.setDefaultCloseOperation(JFrame.EXIT_ON_CLOSE);previewCanvas.setAlwaysOnTop(true);// 检测服务的初始化操作detectService.init();}

接下来是output方法，定义了拿到每一帧视频数据后做什么事情，这里调用了detectService.convert检测人脸并保存图片，然后在本地窗口显示：

    @Overrideprotected void output(Frame frame) {// 原始帧先交给检测服务处理，这个处理包括物体检测，再将检测结果标注在原始图片上，// 然后转换为帧返回Frame detectedFrame = detectService.convert(frame);// 预览窗口上显示的帧是标注了检测结果的帧previewCanvas.showImage(detectedFrame);}

最后是处理视频的循环结束后，程序退出前要做的事情，先关闭本地窗口，再释放检测服务的资源：

    @Overrideprotected void releaseOutputResource() {if (null!= previewCanvas) {previewCanvas.dispose();}// 检测工具也要释放资源detectService.releaseOutputResource();}

由于检测有些耗时，所以两帧之间的间隔时间要低于普通预览：

    @Overrideprotected int getInterval() {return super.getInterval()/8;}

至此，功能已开发完成，再写上main方法，在实例化DetectAndSaveService的时候注意入参有两个，第一个是人脸检测模型的下载地址，第二个是人脸照片保存在本地的位置，还有action方法的参数1000表示预览持续时间是1000秒：

    public static void main(String[] args) {String modelFileUrl = "https://raw.github.com/opencv/opencv/master/data/haarcascades/haarcascade_frontalface_alt.xml";new PreviewCameraWithDetectAndSave(new DetectAndSaveService(modelFileUrl, "E:\\temp\\202112\\18\\001\\man")).action(1000);}

抓取第一个人的照片

运行main方法，然后请群众演员A登场，看着他一个人对着摄像头，开始…搔首弄姿，各种光线明暗、各种角度、各种表情都用上吧，哎，不忍直视…
由于开启了预览窗口，因此可以看到摄像头拍摄的效果，出现红框的矩形最终都会被保存为图片，请注意调整角度和表情，群众演员A好像很热衷于自拍，玩得不亦乐乎，好吧，让他放飞自我：
检测的图片到了一定数量就可以结束了，我这里保存了259张，如下图：
对以上照片，建议是用肉眼检查一遍所有照片，把不是人脸的全部删除，我发现了十多张不是人脸的照片，例如下面这张把脸上的一部分识别成了人脸，显然是有问题的，这样的照片就删除吧，不要用在训练了：
上述照片全部保存在E:\temp\202112\18\001\man目录下

抓取第二个人的照片

修改代码，把main方法中存放图片的目录改成E:\temp\202112\18\001\woman，然后再次运行程序，请群众演员B登场，恳求她像前一位群众演员那样一个人对着摄像头，开始…搔首弄姿，各种光线明暗、各种角度、各种表情都用上吧
于是，我们又顺利拿到第二位群众演员的大量人脸图片，记得要肉眼观察每一张照片，把不准确的都删除掉
至此，借助前面编写的程序，我们轻松拿到了两位群众演员的大量人脸照片，其中A的照片保存在E:\temp\202112\18\001\man，B的照片保存在E:\temp\202112\18\001\woman：
至此，本篇的任务已经完成，下一篇会用这些照片进行训练，为最终的识别做好准备；

你不孤单，欣宸原创一路相伴

Java系列
Spring系列
Docker系列
kubernetes系列
数据库+中间件系列
DevOps系列

JavaCV人脸识别三部曲之一：视频中的人脸保存为图片相关推荐

JavaCV人脸识别三部曲之三：识别和预览
欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码):https://github.com/zq2599/blog_demos <JavaCV人脸识别三部曲>链接 < ...
Facebook创建新机器学习系统，用于对视频中的人脸进行“去识别化”
据外媒报道,Facebook AI Research表示,其已经创建了一种机器学习系统,用于对视频中的个脸进行去识别化(de-identification ).像D-ID这样的初创公司和许多先前的作品 ...
基于虹软人脸识别，实现RTMP直播推流追踪视频中所有人脸信息（C#）
大家应该都知道几个很常见的例子,比如在张学友的演唱会,在安检通道检票时,通过人像识别系统成功识别捉了好多在逃人员,被称为逃犯克星:人行横道不遵守交通规则闯红灯的路人被人脸识别系统抓拍放在大屏上以示警告 ...
使用OpenCV-python识别图片视频中的人脸和眼睛
文章目录思路和核心代码识别图像中的人脸识别视频中的人脸和眼睛思路和核心代码思路如下: 首先需要一个训练好的人脸和眼睛特征数据库,用于识别人脸和眼睛识别出人脸和眼睛之后,返回所在的区域(一般 ...
【OpenCV人脸识别2】从视频中检测人脸
分为两步: 从视频中识别人脸和人的眼睛从视频中检测人脸.眼睛.鼻子.嘴巴 1.从视频中识别人脸和人的眼睛关于视频的操作,主要如下: 定义摄像头->打开摄像头->读取视频帧->转而 ...
OpenCvSharp人脸识别系统(视频中的人脸)
前段时间因项目中有用到人脸识别,折腾了好久才解决了问题.现将简单的人脸识别功能分享出来,供大家研究. 是基于OpenCVSharp写的人脸识别功能,启用电脑自带的摄像头,识别到人脸图片,并以视频的形式 ...
视频中演员人脸进行识别及分类
利于opencv将给定视频中演员人脸进行识别及分类,无需事先数据采集及训练. 下载地址: https://download.csdn.net/download/hack0001/86503394
Python 计算机视觉（十六）—— 图像和视频中的人脸识别
参考的一些文章以及论文我都会给大家分享出来 -- 链接就贴在原文,论文我上传到资源中去,大家可以免费下载学习,如果当天资源区找不到论文,那就等等,可能正在审核,审核完后就可以下载了.大家一起学习,一起 ...
opencv 人脸识别_人工智能-OpenCV+Python实现人脸识别（视频人脸检测）
上期文章我们分享了opencv识别图片中的人脸,OpenCV图片人脸检测,本期我们分享一下如何从视频中检测到人脸视频人脸检测 OpenCV打开摄像头特别简单,只需要如下一句代码 capture = ...
安保人脸识别技术与视频监控系统的结合应用
随着信息技术不断发展,视频信息越来越广泛地应用在娱乐.教育.安全.生活等各种领域.基于人脸识别技术的智能视频监控系统具有十分广泛的应用前景.本文将重点针对人脸识别技术的研究方向.应用领域及技术优势,人 ...

JavaCV人脸识别三部曲之一：视频中的人脸保存为图片

欢迎访问我的GitHub

关于人脸识别

关于《JavaCV人脸识别三部曲》

本篇概览

源码下载

编码：检测服务

编码：运行框架

抓取第一个人的照片

抓取第二个人的照片

你不孤单，欣宸原创一路相伴

JavaCV人脸识别三部曲之一：视频中的人脸保存为图片相关推荐

最新文章

热门文章