LightCNN核心点解析
GitHub还有其他相关笔记: https://github.com/leoluopy/paper_discussing/blob/master/body/LightCNN/lightCNN.md
looking for papers for Light-CNN
contributer : leoluopy
- 欢迎提issue.欢迎watch ，star.
- 微信号：leoluopy，如有疑问，欢迎交流，得文时浅，或有纰漏，请不吝指教。
Overview
- LightCNN受神经元抑制启发，提出了MFM的一种新的特征图融合方法，在特征提取效果和特征提取速率方面取得了很大进步
- LightCNN训练使用了一套BootStrap方法，使得有噪音的大型数据集能够卓有共享贡献的训练模型，并取得的良好效果
效果描述
- 从LFW和IJB数据集来看，LightCNN取得了同期媲美start-of-art水平，并且由于其网络轻量，在速率方面有不少优势
速率和参数对比。
核心点叙述
上图即是LightCNN提出的核心MFM1/2操作layer
- 操作输入是两个通道，特征图长高,W,H,MFM取其中每一个特征图的像素点对应的最大值。
- 两个特征图经过MFM操作后变为一个特征图，长高不变。通道减半。
除了MFM1/2，文章还提出了MFM2/3操作layer
- 与MFM1/2不同的是，这个操作layer输入是三个通道，输出是两个通道
- 输出的通道1，取输入三个通道对应特征图像素的最大值
- 输出的通道2，取输入三个通道对应特征图像素的中间值
讲完了网络的前向传播，再看梯度，如上图所示MFM的梯度定义是：
- 两幅特征图经过前向传播，谁的特征图像素大，谁就有梯度，并且梯度为1
模型结构叙述
- 三个模型中MFM即是本文提出的操作符
- conv2_x,conv3_x,conv5_x 这些是卷积层的堆叠
训练方法
- 第一步，先在相对准确数据集[CASIA-WebFace]训练，然后在有噪音数据集[MS- Celeb-1M]进行finetune,为降低收敛难度，只训练分类器，快收敛时，全部训练并递减学习率从1e-3 到 1e-5。
- 第二步，在噪音数据集预测，预测与label保持label,若不一致，高于阈值的的预测修改label为预测结果，修改后得到 MS-1M-1R
- 第三步，使用数据集 MS-1M-1R 进行 retrain ,在重复relabel得到数据集MS-1M-2R
- 第四步，使用数据集 MS-1M-2R 再次训练 ， MS-Celeb-1M数据集人脸ID变少，模型效果变强。
LightCNN核心点解析相关推荐
- 深度学习论文翻译--Deep Residual Learning for Image Recognition
本文翻译论文为深度学习经典模型之一:ResNet 论文链接:https://arxiv.org/pdf/1512.03385.pdf 摘要:深度神经网络很难训练,为了解决这个问题,我们提出残差学习框架 ...
- 进阶大数据架构师学习路线
,语法格式如下: python [-bBdEhiIOqsSuvVWx?] [-c command | -m module- ...
- 未能加载文件或程序集rsy3_abp vnext2.0之核心组件模块加载系统源码解析
abp vnext是abp官方在abp的基础之上构建的微服务架构,说实话,看完核心组件源码的时候,很兴奋,整个框架将组件化的细想运用的很好,真的超级解耦.老版整个框架依赖Castle的问题,vnext ...
- 试解析Tomcat运行原理（一）--- socket通讯(转)
关于这篇文章也确实筹划了很久,今天决定开篇写第一篇,说起tomcat首先很容易联想到IIS,因为我最开始使用的就是.net技术,我第一次使用asp写学生成绩管理系统后,很茫然如何让别人都能看到或者说使 ...
- abp vnext2.0之核心组件模块加载系统源码解析
abp vnext是abp官方在abp的基础之上构建的微服务架构,说实话,看完核心组件源码的时候,很兴奋,整个框架将组件化的细想运用的很好,真的超级解耦.老版整个框架依赖Castle的问题,vnext ...
- Cilium创建pod network源码解析
01 Overview 我们生产K8s使用容器网络插件 Cilium 来创建 Pod network,下发 eBPF 程序实现 service 负载均衡来替换 kube-proxy,并且使用 BGP ...
- mysql哨兵机制_Redis 哨兵机制以及底层原理深入解析，这次终于搞清楚了
前面我们基于实际案例搭建了缓存高可用方案(分布式缓存高可用方案,我们都是这么干的)同时提到了redis主从架构下是如何保证高可用的,讲到了它是通过redis sentinel的机制来实现的. 今天我们 ...
最新文章
- SSH框架整合（代码加文字解释）
- tensorflow filter_variables
- HOWTO：如果检测用户是从系统的“添加/删除”中卸载软件
- 【解决方案】QT读写文件
- mysql binlo 抽取_使用mysqlbinlog根据时间点提取SQL简单方法
- 如何通过 反射 调用某个对象的私有方法？
- Source Insight之Relation Window Properties配置和一些快捷键
- Android之Notification制作多媒体控制器
- SQL注入攻击和防御
- 一千本免费电子书(建议长期保存)转的-用迅雷下载
- 气味识别以及气味数字化存储技术
- 如何迅速分析出系统CPU的瓶颈在哪里
- 弗吉尼亚理工大学计算机科学,弗吉尼亚理工大学计算机科学排名第45（2020年TFE美国排名）...
- 前端---antd中的日期选择组件
- 五大列级庄_波尔多1855年评定的列级名庄1-5级各有哪些？哪个产区的列级庄最多？...
- 比 Elasticsearch 更快RediSearch + RedisJSON = 王炸
- C:警告：warning: unknown escape sequence: ‘.‘
- 【技巧】desc +表名；
- 学生选课系统---数据库课程设计SQL Server
- wx._core.wxAssertionError: C++ assertion “GetEventHandler() == this“ failed at ..\..\src\common\winc