雷锋网按:本文为 AI 研习社编译的技术博客,原标题 How I implemented iPhone X's FaceID using Deep Learning in Python,作者为 SHIVAM BANSAL。

翻译 | 陶玉龙 余杭      校对 | Lamaric       整理 | MY

在最近推出的 iPhone X 中,它被讨论最多的特点之一是它采用了新的解锁方法,即 TouchID:FaceID。

在研发出无边框手机后,苹果公司想开发一种新的方法来快捷地对手机进行解锁。虽然一些竞争对手依旧在继续使用指纹传感器,把它放置在手机的不同位置上,但苹果公司决定进行创新,采用革命性的方式来进行手机解锁:用户只需要简单地看它就可以。借助于先进的(非常小)前置相机,iPhone X 能够对用户的脸创建一个 3D 地图。此外,这项技术使用红外摄像机捕获用户面部的照片,对环境的光和颜色变化具有更好的鲁棒性。使用深度学习技术,智能手机能够很好地了解用户的脸部,当他每次拿起电话时都能准确认出他。令人惊讶的是,苹果公司称这种方法比 TouchID 技术更安全,错误率仅为 1:1,000,000。

我对苹果公司使用的 FaceID 技术非常感兴趣,主要是因为这一切都是在移动设备上进行的,这项技术只利用了用户的脸进行了少量的初始训练,然后在每次拿起电话时都流畅地运行。我专注于如何使用深度学习来实现这一过程,以及如何对每一步进行优化。在本文中,我将演示如何使用 keras 实现 FaceID 这一类算法。我会解释我所采取的各种架构决定,并展示一些我最终完成的实验,这些实验是我使用 Kinect 来完成,一个非常受欢迎的 RGB 深度相机,它与 iPhone X 前置相机有着非常相似的输出(但在一个更大的设备上)。坐好,然后美美的喝一杯咖啡,让我们开始逆向搭建苹果这一改变游戏规则的功能。

理解 FaceID

“用于 FaceID 的神经网络并不是简单地执行分类”。

FaceID 的安装过程

第一步是仔细分析 FaceID 是如何在 iPhone X 上工作的。苹果公司官方布的白皮书可以帮助我们理解 FaceID 的基本机制。为了使用 TouchID,用户必须先按几次传感器来录入他的指纹。在大约 15 到 20 次不同的触摸之后,智能手机就完成了指纹的录入,TouchID 也准备好了。同样,使用 FaceID,用户必须录入他的脸部照片。这个过程非常简单:用户只需像平常那样看着手机,然后慢慢地旋转一个圆圈,把不同的姿势的脸部录入手机中。就这样,我们完成了这个过程,你的手机已经准备好解锁了。这种快速的录入过程可以告诉我们很多有关底层学习的算法。例如,神经网络的 FaceID 不仅仅是执行分类,我会在下文解释原因。

苹果公司主页揭晓 iPhone X 和 FaceID 的示例图

对于神经网络而言,执行分类操作意味着他需要通过学习来预测它所看到的面孔是否属于之前看过的那个用户。因此,一般来说它应该使用一些训练数据来预测真或假,但与许多其他的深层学习案例不同,在这里,这种方法是行不通的。首先,网络应该使用从用户的面部获得的新数据进行重新训练。这将需要大量的时间、会造成很多能量消耗以及会有很多不同面孔产生的负样本训练数据(在传输学习和已训练的网络的精细调整方面几乎没有变化)。此外,这种方法几乎没有会被利用的可能性,对于苹果公司而言,他们会在离线情况下训练一个更复杂的网络,通常是在他们的实验室,然后把这些已经训练好的网络装载到手机中进行应用。我相信 FaceID 是由一个孪生卷积神经网络支持的,它被苹果公司训练成「离线」状态,将脸部映射成一个低维的潜在空间,用对比损失表示方法来最大化不同人脸之间的距离。用这种方法,你得到了一个单阶段学习的体系结构,就像他们在要点中提到的一样。我知道,这里可能有一些名词读者并不是很熟悉:继续阅读,我会逐步解释我想表达的意思。

现在看起来,FaceID 会成为 TouchID 之后的新标准。苹果公司会把这项技术带到他们研制的所有新设备中吗?

从人脸到数字的神经网络

一个孪生神经网络是由两个基本相同的神经网络组成,它们共享所有的权重。这种架构可以计算特定类型的数据之间的距离,例如图像。这个思路是通过孪生神经网络传递数据(或者简单地通过两个不同的步骤通过同一个网络传递数据),网络将它映射到一个低维特征空间中,比如一个 n 维数组,然后训练网络进行映射的搭建,以便尽可能地使用来自不同类的数据点,而让来自同一类的数据点尽可能接近。从长远来看,网络将学会从数据中提取最有意义的特征,并将其压缩为数组,从而创建有意义的映射。要想直观地理解这一点,想象一下你是如何使用小矢量来描述狗品种的,让相似的狗有更接近的矢量。您可能会使用一个数字对狗的毛色进行标记,一个数字用于表示狗的大小,另一个数字用于表示毛发的长度,依此类推。用这种方式,彼此相似的狗将具有彼此相似的矢量。着看上去是一个很聪明的方法,对吧?类似于什么一个自动编码器,孪生神经网络可以为你学会如何去实现这一个过程。

这张图来自 Hadsell、Chopra 和 LeCun 发表的论文「Dimensionality Reduction by Learning an Invariant Mapping」。注意该结构是如何学习数字之间的相似性并自动将它们分组为二维的。类似的技术被应用于 Iphone X 的面部识别技术中。

运用这项技术,人们可以使用大量的脸部图像对这个架构进行训练,从而识别出哪些脸部最为相似。在拥有合适的预算和计算能力时(正如 Apple 公司那样),人们也可以使用更难的例子来使网络更具鲁棒性,诸如双胞胎,对抗性攻击(掩码)等。那么使用这种方法的最大优势是什么呢?你最终会拥有一个即插即用模型,在无需进一步训练的前提下可以识别出不同用户,只需在初始设置过程中拍摄一些照片,计算用户脸部在隐藏图中的位置。(想象一下,正如前文所述,我们为新的狗品种写下它的矢量,然后将其存放在某处)。此外,FaceID 能够适应脸部的一些变化:突然变化(例如眼镜,帽子,化妆)和减慢变化(面部毛发)。这是通过在此图中基本添加参考面向量来完成的,这些参数可以根据您的新外表进行计算。

当您的外观发生变化时,FaceID 会自动适配。

现在,让我们看看如何使用 Keras 在 Python 中实现它。

在 Keras 中实现 FaceID

对于所有机器学习项目来说,我们首先数据集。创建我们自己的数据集需要时间同时离不开和其他许多人的合作,这可能非常具有挑战性。因此,我浏览了网页上的 RGB-D 人脸数据集,我找到了一个看起来非常合适的例子。它由由一系列从不同方向拍摄、有不同面部表情的 RGB-D 图片组成,就像在 iPhone X 用例中一样。

如果想查看最终实现过程,你可以查看我的 GitHub 库,在里面可以找到一个 Jupyter Notebook 文件。此外,我利用 Colab Notebook 进行实验,你也可以试一试。

我创建了一个基于 SqueezeNet 架构的卷积网络。网络将一系列人脸的四通道 RGBD 图像作为输入,输出两个嵌入之间的距离。网络训练有一个恒定的损失,最小化同一个人的图片之间的距离,并最大化不同人的图片之间的距离。

对比损失

训练过后,神经网络已经能够把脸部映射成一个 128 维矩阵,同一个人的照片组合在一起,与其他人的照片相距很远。这意味着,为了解锁你的设备,神经网络只需要计算在注册阶段解锁设备时存储的相片与它所使用的相片之间的距离。如果这个距离低于某个特定的阈值,(阈值越小,安全性越高)那么设备即可解锁。

我使用 t-SNE 算法在二维空间中可视化 128 维嵌入空间。每个颜色对应于一个不同的人:正如你所看到的,神经网络已经学会把这些相片紧紧地组合在一起。(使用 t-SNE 算法时,簇之间的距离是毫无意义的)。使用 PCA 降维算法时会生成一个非常有趣的图片。

采用 t-SNE 创建的嵌入空间面的簇。每种颜色是不同的面貌(但颜色重复使用)。

使用 PCA 在嵌入空间中生成脸部数据簇。每个颜色代表一个不同的脸部(颜色是重复使用的)

验证!

......

更多精彩内容尽在 AI 研习社。

不同领域包括计算机视觉,语音语义,区块链,自动驾驶,数据挖掘,智能控制,编程语言等每日更新。

雷锋网(公众号:雷锋网)雷锋网(公众号:雷锋网

雷锋网原创文章,未经授权禁止转载。详情见转载须知。

苹果手机怎么学python_我是如何在 Python 内使用深度学习实现 iPhone X 的 FaceID 的...相关推荐

  1. 用Python及深度学习实现iPhone X的FaceID功能

    摘要: 本文主要是展示FaceID解锁机器的基本工作机制,采用的方法是基于人脸映射和孪生卷积神经网络,Github上附详细代码. 对于果粉们来说,对新出的iPhone X讨论最多的是其解锁方式,Tou ...

  2. 手机编写python苹果_用Python及深度学习实现iPhone X的FaceID功能

    摘要: 本文主要是展示FaceID解锁机器的基本工作机制,采用的方法是基于人脸映射和孪生卷积神经网络,Github上附详细代码. 对于果粉们来说,对新出的iPhone X讨论最多的是其解锁方式,Tou ...

  3. 实战 | 深度学习轻松学:如何用可视化界面来部署深度学习模型 转载 2017年12月27日 00:00:00 109 翻译 | AI科技大本营 参与 | 王赫 上个月,我有幸结识了 DeepCogn

    实战 | 深度学习轻松学:如何用可视化界面来部署深度学习模型 转载 2017年12月27日 00:00:00 标签: 109 编辑 删除 翻译 | AI科技大本营 参与 | 王赫 上个月,我有幸结识了 ...

  4. 视频教程-深度学习原理详解及Python代码实现-深度学习

    深度学习原理详解及Python代码实现 大学教授,美国归国博士.博士生导师:人工智能公司专家顾问:长期从事人工智能.物联网.大数据研究:已发表学术论文100多篇,授权发明专利10多项 白勇 ¥88.0 ...

  5. Python机器学习、深度学习技术提升气象、海洋、水文领域实践应用能力

    Python是功能强大.免费.开源,实现面向对象的编程语言,能够在不同操作系统和平台使用,简洁的语法和解释性语言使其成为理想的脚本语言.除了标准库,还有丰富的第三方库,Python在数据处理.科学计算 ...

  6. 如何用 Python 进行基于深度学习的计算机视觉项目开发?

    令人惊喜的"智能"年代 深度学习有着广阔的前景 我们正处在一个"智能"的年代,比如智能手机中的语音助手.机器翻译和人脸识别:战胜过日本将棋冠军.国际象棋冠军, ...

  7. Python机器学习、深度学习库总结(内含大量示例,建议收藏)

    Python机器学习.深度学习库总结(内含大量示例,建议收藏) 前言 python常用机器学习及深度学习库介绍 总结与分类 python 常用机器学习及深度学习库总结 分类 更多 前言 目前,随着人工 ...

  8. python调用c++深度学习模型生成的dll(传入图片,返回多个结果)

    这里主要通过python调用c++深度学习模型,传入图片,c++处理,并返回结果,python接收结果,这个过程的接口如何设计转换. python端代码接口 # 定义dll返回的结果类型,这里应该和c ...

  9. Python机器学习、深度学习库总结

    Python机器学习.深度学习库总结(内含大量示例,建议收藏) 前言 python常用机器学习及深度学习库介绍 总结与分类 python 常用机器学习及深度学习库总结 分类 更多 前言 为了大家能够对 ...

最新文章

  1. 【Python-ML】聚类的性能评价指标
  2. 担保债务凭证(Collateralized Debt Obligation,简称CDO) CLO/CBO
  3. Product of Three Numbers(CF-1294C)
  4. php访问日记在哪,nginx访问日志在哪里
  5. Reading privileged memory with a side-channel
  6. ora-04098 触发器无效且未通过重新验证
  7. [BZOJ1031] [JSOI2007] 字符加密Cipher (后缀数组)
  8. 如何改变Android-studio中的APP的名字和图标
  9. firefox改html内容,Firefox 中的 HTML5 音视频
  10. OMPL官方教程学习State Validity Checking
  11. 解决python同时执行多个程序的方案
  12. 计算机属于什么学1001计算机属于什么学,怎样学电脑(初学电脑先学什么)
  13. mysql字段中有问号_Mysql数据库,表中有中文时,select出来好多问号(?)的解决方法...
  14. 单机hbase-2.4.15配置snappy压缩
  15. 这几个小妙招让你学会如何压缩图片大小
  16. 跳出任务管理的泥沼,拥抱甘特图的怀抱(完整版)
  17. 华为认证723(自用)
  18. 事件营销的话题选择之道
  19. 隐藏电话号码中间四位
  20. Linux MySQL 索引 | 索引创建 | 索引删除 | 超详细

热门文章

  1. 2021年中国干法啤酒花系统市场趋势报告、技术动态创新及2027年市场预测
  2. 北航大学计算机基础题库,数学建模与matlab_prt2part1数学建模与matlab_part2part1数学建模与matlab_part2part1数学建模与matlab_part2pa...
  3. 从入门到懵逼之jdk-8u221安装之后的故事
  4. 详解Linux内核红黑树算法的实现
  5. 适合3D游戏建模的平民价笔记本,4K-5K
  6. 电池电量android
  7. 基于dockerfile 构建php7.4+parallel
  8. Go语言GOPATH是什么
  9. 2020 54所提前批
  10. Java JUC高并发编程(三)-CallableJUC辅助类