开头先把论文和开源项目地址放一下: Additive Angular Margin Loss for Deep Face Recognition​arxiv.org deepinsight/insightface​github.com

InsightFace库是对我们上述论文中提出算法的开源实现. 其中不仅仅包括我们自己的算法, 也包括其他常见的人脸loss, 比如Softmax, SphereFace, AMSoftmax, CosFace, Triplet Loss等等. 除了代码实现以外, 我们还提供了打包对齐好的人脸训练数据供下载, 免除了一大堆数据准备的工作. 研究人员可以专注于人脸识别的算法实验, 工业界也可以方便的根据自己需求训练或者拿我们提供的高精度预训练模型产品化.

目前暂列MegaFace榜单第一名:

之后会单独开一篇谈谈我对MegaFace这个评测集的看法, 不是今天的主题.

总之, 用了我们InsightFace的人, 一日之内会武功突飞猛进，打通任督二脉，吃饭香，睡得好，最后浑身血管。。。可能有朋友要问了:"那么。。在哪里才能买(yong)到呢?" 巧了，下面就为您讲解.

此外今天我们也暂时不提具体算法细节, 先教大家如何使用我们这个开源项目来做人脸方面的研究和落地项目.

环境需求: Linux

Python 2.7

环境搭建:

1.安装MXNet:

1.1 从pip安装:

pip install -U six scipy scikit-learn opencv-python scikit-image easydict mxnet-cu80

1.2 编译安装(以干净的Centos 7为例):

yum install epel-release

yum install git python-devel.x86_64 openblas-devel.x86_64 libSM opencv-devel python-pip

pip install -U six scipy scikit-learn opencv-python scikit-image easydict

git clone --recursive https://github.com/apache/incubator-mxnet.git mxnet; cd mxnet

make -j4 USE_OPENCV=1 USE_BLAS=openblas USE_CUDA=1 USE_CUDA_PATH=/usr/local/cuda USE_CUDNN=1 ADD_CFLAGS=-I/usr/include/openblas ADD_LDFLAGS=-L/usr/lib64

cd python; pip install -e .

2. 安装/下载InsightFace

git clone --recursive https://github.com/deepinsight/insightface.git

3. 给insightface项目Star一下.

至此, 代码环境搭建完毕.

训练数据集下载和说明:

所有数据集均用MXNet IndexedRecord存储, 加速读取性能.

文件列表:

faces_ms1m_112x112/

train.idx

train.rec

property

lfw.bin

cfp_ff.bin

cfp_fp.bin

agedb_30.bin

其中 train.idx和 train.rec分别是数据偏移索引和数据本身的文件. property代表数据集属性. 其余4个 bin文件是验证集,

MXNet IndexedRecord是一种类kv结构. key是一个整数, 每个value代表数据并可包含一个header记录数据的标签.

InsightFace Record格式:

key:0, value_header => [identities_key_start, identities_key_end]

key∈[1, identities_key_start), value_header => [identity_label],

value_content => [face_image]

key∈[identities_key_start, identities_key_end),

value_header => [identity_key_start, identity_key_end]

这样的格式既可以支持Softmax这种类型的训练(不需要按人物分组), 又能支持类Triplet Loss的训练(通过id->images映射)

具体生成rec文件的命令可参考 src/data/face2rec2.py

所有人脸图片均用MTCNN检测5点并相似变换到112x112大小.

训练过程:

预备工作,设定一些MXNet相关环境变量保证性能:

export MXNET_CPU_WORKER_NTHREADS=24

export MXNET_ENGINE_TYPE=ThreadedEnginePerDevice

接下来举几个例子说明,

1. 性价比最高的模型:

CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train_softmax.py --network r100 --loss-type 4 --margin-m 0.5 --data-dir ../datasets/faces_ms1m_112x112 --prefix ../model-r100

--network r100代表使用 LResNet100-IR( L和 -IR是默认选项, 也可修改).

--loss-type 4和 --margin-m 0.5代表使用我们的additive angular loss.

--data-dir指定训练数据目录.

--prefix指定模型输出目录.

默认的每张卡batch-size为128, 可通过 --per-batch-size修改.

默认每2000个iterators输出一次验证集结果, 包括 lfw, cfp, agedb-30. 可通过 --verbose修改.

硬件需求: 4*P40. 如果只有12G卡的话, 参考issue 32.

这个模型可以完美复现我们提交的MegaFace结果, 并且 lfw能达到99.81或99.83.

(提供的训练数据集已经剔除了和FaceScrub重复的人物, 如果不剔除的话, MegaFace达到98.5左右都是可能的. 同时在另一个剔除LFW重复人物的实验上, LFW精度并没有降低)

2.训练MobileNetV1,Softmax.

CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train_softmax.py --network m1 --loss-type 0 --data-dir ../datasets/faces_ms1m_112x112 --prefix ../model-m1-softmax

除了 --network m1和 --loss-type 0以外和上面的例子基本没有差别. --loss-type 0代表Softmax Loss. m1代表MobileNetV1. 我们另外还支持InceptionResNetV2, DPN, DenseNet, 等等.

3.Fine-tuning Triplet Loss, 在上述模型的基础上.

CUDA_VISIBLE_DEVICES='0,1,2,3' python -u train_softmax.py --network m1 --loss-type 12 --lr 0.005 --mom 0.0 --per-batch-size 150 --data-dir ../datasets/faces_ms1m_112x112 --pretrained ../model-m1-softmax,50 --prefix ../model-m1-triplet

注意一下后面的参数(lr, weight decay, momentum等). --loss-type 12代表Triplet Loss. 另外我们已经把semi-hard mining放入GPU计算, 极大加快了训练速度.

模型测试和部署:

0. 预训练模型下载:

0.2 LResNet34-IR: https://pan.baidu.com/s/1jKahEXwLFW: 99.65. 单张图模型推理时间(包括对齐): 17ms

1. Verification Test.

lfw, cfp, agedb-30这几项已经在训练时不断被测试了. 如果想用训好的模型测试这几项得分的话, 可参考 src/eval/verification.py.

2.MegaFace Test.

参考 src/megaface/目录, 分三步走: 一、对齐FaceScrub和MegaFace distractors. 二、生成对应feature( src/megaface/gen_megaface.py), 三、运行megaface development kit.

3.模型部署.

我们提供了一些脚本, 可参考做模型部署. 值得注意的是输入的图片不需要被对齐, 只需要检测人脸后裁剪就可以.

3.1 进入 deploy/文件夹.

3.2 训练或下载训好的模型.

3.3 参考 deploy/test.py输入一张检测并切割好的面部照片, 返回512维的embedding. 利用上述的 LResNet34-IR模型, 单次推理仅需17毫秒(Intel E5-2660 @ 2.00GHz, Tesla M40).

结语:

希望有更多人的人来用我们这个库, 也欢迎大家来贡献代码. 有问题随时留言或者在github上提issue.