Apple 发明了可用于拍照和录像的杀手级3D成像照相机。开发中的新照相机将利用深度传感器,如LIDAR,RADAR和激光,来合成立体色差图产生3D影像。此外,这种相机将使用先进的色差、亮度传感器获取高色差精度。那样还不够,新相机将不仅包含面部识别还包含了表情识别功能。Intel在2010年即声称3D革命即将来临,显然Apple想要成为最早采用这种杀手级3D相机的公司之一。可能其他公司在3D相机上会打败Apple成为市场第一,但今天的发明所描述的技术将明确地为iOS设备提供杀手级3D图像,而且仅支持Apple的具有革命性的视网膜显示屏。Apple的革命性体验才刚刚开始,这种能在iPad屏幕上浏览3D图像、照片和视频的能力,其革命性体验将进一步引爆我们的大脑。

现在的照相机仅具有有限的3D功能

现存的3维图像捕捉设备,如数码相机、摄像机,能获取有限的捕捉范围内物体的3D视觉信息。例如,一些成像设备能提取关于捕捉范围内物体近似的深度信息,但不能获得关于这些物体表面的详细几何信息。

一些传感器能估算捕捉范围内物体的距离,但不能精确产生物体的3D形状。或者另外一些设备能获取和产生捕捉范围内物体表面的详细信息,但不能提取深度信息。

因此,这些传感器不能区分一个靠近传感器的小物体和远离传感器的大物体。

Apple的先进3D相机解决方案

Apple的发明是关于利用一个或多个专用相机捕捉3D图像的系统、装置和方法。

根据Apple描述,一个方案是一个3D相机捕捉至少一张包含一个或更多个物体的图像,包含: 一个第一传感器捕捉偏振图像,这个第一传感器包含一个相机和一个偏振滤镜与之相连;一个第二传感器捕捉第一张无偏振图像;一个第三传感器捕捉第二个无偏振图像;至少一个处理模块利用不少于第一张和第二张无偏振图像来取得所拍摄的一个或更多个物体的深度信息,处理模块进一步联结偏振图像、第一张非偏振图像和第二张非偏振图像形成合成的三维图像。

另一个方案是用三维成像装置捕捉至少一个含一个或更多物体的图像,包含:一个第一传感器捕捉偏振色差图像和确定所拍摄一个或更多物体的表面信息,一个第一传感器包含一个色彩成像设备和与之相连的一个偏振滤镜;一个第二传感器捕捉第一个亮度图像;一个第三传感器捕捉第二张亮度图像;至少一个处理模块利用不少于第一张、第二张亮度图像并联结偏振色差图像获取取所拍摄的一个或更多个物体的深度信息,利用表面信息和深度信息形成合成的3D图像。

还有一个方案的形式是一个物体至少采集一张图像的方法,包含:捕捉物体的一张偏振图像;捕捉物体第一张非偏振图像;捕捉物体的第二张非偏振图像;从不少于第一张和第二张非偏置图像中获取物体深度信息;确定物体的多个表面法向,这些表面法向是从偏振图像中取得;用深度信息和这些表面法向合成三维图像。

采样图像传感器包括电荷耦合器件(CCD)传感器,互补金属氧化物半导体(CMOS)传感器,红外线传感器,光探测和测距传感器等类似器件。图像传感器会对一系列色彩和/或亮度敏感并且会采用多种分色机制,如拜尔阵列(Bayer arrays),Foveon X3配置,多CCD器件,二向棱镜(dichroic prism)等类似器件。

设备将使用新3D捕捉技术

Apple称在一些实施方案中,会配备图像传感器将采集的图像转换或帮助转换成数字图像数据。图像传感器将置于多种电子设备中,包括(不仅限于)数码相机,个人电脑,个人数字助理(PDAs),手机,单独相机或任何用于处理图像数据的设备。

集成组件到3D图像采集相机中

Apple的专利如图FIG.1A ,下面的功能模块图是阐述3D相机的第一个方案的组件。

如FIG. 1A所示,3D图像装置/相机 100 包含一个第一成像设备102,一个第二成像设备104和一个图像处理模块106。偏振滤镜108与第二成像设备相连。

产生立体色差图

在第一和第二成像设备观察112和114区域,如上图标记,观察的物体图形具有一定偏移量,所以接收的图像有着轻微的差别。如第一成像设备102的112区域在垂直,对角或水平方向上与第二成像设备104有一定偏差,或更靠近或更远离我们的观察点或平面。第一、第二成像设备观察区域112和114产生的偏移能对产生立体色差图和获取深度信息提供有用数据。

可选深度探测技术:LIDAR, RADAR和Laser

如图FIG.1A标示,第一成像设备102发射电磁波,通过捕捉物体反射回的电磁波获取物体110的近似距离。

在第一个方案中,第一成像设备是一个光探测和距离传感器。LIDAR传感器发射激光脉冲,在物体表面反射回,再由传感器探测反射信号。LIDAR传感器通过测量激光脉冲的发射和接收信号间的时间延迟计算与物体间的距离。其他方案则利用其他类型的深度探测技术,如红外线反射,RADAR,激光探测和测距等类似器件。

利用微透镜

Apple的专利会在他们的3D照相机中使用微透镜,这种微镜头含有很多聚焦偏振光的子滤镜。微透镜可由任何合适的材料制成,通过光导来传输、散射光。此外,光导包含反射材料、高透明度材料、光吸收材料、不透光材料、金属材料,光学材料和/或任何其他功能性材料集合,提供额外的光学性能修正。

在第一个方案中,微透镜是凸状且是圆形的。其他方案中会有不同的形状。如在第一个方案,微透镜是圆锥形,没个微透镜顶部是一个点。

其他方案中的微透镜是所谓的顶端截平了的锥体,其顶端是一个平坦的表面。此外,在一些方案中,微透镜是凹状表面,而不是凸状的。

众所周知,微透镜的形成需要很多技术,包括激光切割技术和/或微加工技术如金刚石车削。在微透镜形成后,电化学加工技术用于镀膜和/或使微透镜增长寿命或增强/添加需要的光学特性。

色差和亮度传感器

提及的3D相机中的传感器还包括使用一个第一色差传感器(202)和一个亮度传感器(204)。亮度传感器用来捕捉进入的光的亮度成分。此外,每个色差传感器用来捕捉进入光的色彩成分。在第一个方案中,色差传感器202,206会感应一幅图中的R(红)、G(绿)、B(蓝)成分,并处理这些成分获得色差信息。

其他方案中会用于感知其他的色彩成分,如黄、蓝绿、洋红等。并且在一些方案中,使用两个亮度传感器和一个色差传感器器。比如说某一方案会使用一个第一亮度传感器、一个色差传感器和一个第二亮度传感器,所以两个亮度图像的偏差将产生立体视差(如,立体深度)图。

面部和表情识别

在第二个方案中,3D成像装置用来识别面部表情。面部表情包括(不限于)笑、扮鬼脸、皱眉、眨眼等等。在第一个方案中,这些会通过表面几何数据探测多种面部肌肉方向来实现,如嘴、眼、鼻、额、面颊等等,并将这些探测得到的方向数据与多种面部表情结合。

旋转物体形成3D模型

在第二方案中,3D成像装置会扫描物体,合成物体的3D模型。这个方案可以通过在物体旋转时拍摄物体的多张照片和视频实现。当物体旋转时,图像传感器将捕获很多表面几何形状,用这些几何形状合成物体的3D模型。

在第二方案中,图像传感设备会跟着物体移动,并拍摄多张照片或视频用于合成物体的3D模型。例如,使用者在穿过住宅时对着住宅拍摄视频,图像传感设备将使用计算出的深度和表面细节信息来合成一张住宅的3D模型。从多张照片和视频中得到的深度和表面详细信息将会匹配起来构建成无缝的合成3D模型,并与每个照片和视频中的表面和深度信息结合。

3D革命来临的第一次讨论是在我们的一篇报告名为“Intel‘s CES Keynote2010,Apple和iLife3D”中。Intel 称其将会推出8到16个核心处理器来推动3D的消费级应用。用其装备一台相机真是绝妙。

Apple的专利申请最初是在2011年第三季度由Brett Bilbrey、Michael Culbert、David Simon、Rich DeVaul、Mushtag Sarwar和David Gere提交,并于今天由美国专利与商标局公布。

Via:patentlyapple

苹果获杀手级3D成像专利 可重建3D图像相关推荐

  1. android 3d成像,android camera 实现3d效果

    效果图 其中 图片使用ImageView来展示 50下边其实是个文本框 变形:按钮,点击后 将图片沿着Y轴 旋转文本框 指定的角度. 实现的代码很简单: public class Base3dImp ...

  2. 旷视发布3D感知全栈解决方案!现在,AI+3D只差杀手级应用了

    李根 发自 凹非寺  量子位 报道 | 公众号 QbitAI 旷视者,大视觉之谓也,现在更能显出这家AI独角兽的抱负和野心了. 就在昨天(8月8日),旷视发起了一场"3D视觉产业先锋研讨会& ...

  3. 华为可折叠手机推迟发布;苹果获新专利可隔空操控iPhone;微软不放弃 IE | 极客头条...

    快来收听极客头条音频版吧,智能播报由标贝科技提供技术支持. 「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有 ...

  4. 苹果获iPhone 4设计和MagSafe电源相关专利-铁石社区-TA云测试平台

    U5384P2T1D7857712F13DT20121205062734.jpg(15.74 K) 2012/12/5 10:29:14 苹果获与iPhone 4设计和MagSafe电源适配器有关的专 ...

  5. 室内导航将成为杀手级应用

    在发达国家卫星导航系统已成为人们生活中不可或缺的好助手,在过去几年里,GPS和其他基于位置的技术已经对我们的生活产生了深远的影响,从提供驾驶导航,到当你进入一片陌生的环境时,帮你找出哪里能抢购到好的食 ...

  6. 超详细的单摄→双摄→三摄→3D成像摄像头产业链

    随着时代不断发展,光电技术在各大应用领域遍地开花,中国光博会面向光通信/信息处理与储存.消费电子.先进制造.国防安防.半导体加工.能源.传感及测试测量.照明显示.医疗等九大应用领域展示前沿技术及创新综 ...

  7. 云游戏能成为5G第一个杀手级应用吗?

    5G低延迟.大带宽.海量连接的特性与AI技术的进一步成熟,将为消费电子应用注入新动能.其中,我们认为AR/VR与云游戏(Cloud gaming)是消费电子应用中主要受益的两大方向. 云游戏与AR/V ...

  8. 下一个视觉「杀手级应用」来了,依图行人重识别ReID性能创纪录

    人脸识别之后的下一个风口是什么? 对于这个问题,业界似乎早已有了共识.从 AI 的人脸识别能力超越人类以来,学术界和产业界的目光逐渐转向另一个更具科研意义和应用价值的课题--行人重识别(Person ...

  9. 又栽了?苹果侵犯高通三项专利需赔偿3100万美元

    [TechWeb]据外媒报道:周五,高通赢得了与苹果的专利纠纷大战,联邦法院的陪审团裁定:苹果侵犯了高通三项专利,需要向高通赔付约3100万美元,相当于2亿人民币. 高通2018年起诉苹果,称其侵犯了 ...

最新文章

  1. 51NOD 1773:A国的贸易——题解
  2. python去除中间空格只留一个_汇总初学Python的21个操作难点,看完别再去踩坑了...
  3. 编程新手真言:不要去干追逐技术的蠢事,你只是用户,只需学会一门工具开发....
  4. 读取工作流程中的表单物件
  5. ANDROID STUDIO 2.2 来啦
  6. spark yarn任务的executor 无故 timeout之原因分析
  7. typora高级设置字体_Mint(Linux)系统设置优化及其常用软件安装笔记
  8. 【POJ - 3026】Borg Maze(bfs预处理 + 最小生成树,建图)
  9. 诚邀参加微软.NET俱乐部10月24日Windows 7社区发布会
  10. python进入高考-Python已进入小学教材将加入高考
  11. JVM调优之:垃圾收集器
  12. android studio actionbar,Android Studio环境下ActionBar的使用教程以及如何解决遇到的问题...
  13. Laravel响应宏原理
  14. nginx 的基本配置
  15. python小游戏源码
  16. 注塑模设计必懂的知识
  17. Python新世界(14)-14行Python代码即可去除抖音水印
  18. lfs linux 教程,用LFS从零开始构建完整Linux系统
  19. js实现flappybird解析
  20. (全)Word Embedding

热门文章

  1. 网站设计的思考 (转)
  2. 记第七届ACM校赛-回忆
  3. ubuntu安装迅雷
  4. LINUX 查看和修改文件系统的block的大小
  5. 360软件管家下载微软VC++运行库集合解决“丢失api-ms-win-crt-runtimel1-1-0.dll的错误,提示要安装Visual C++ 2015”问题
  6. Linux 网络编程——TCP/IP 数据包格式解析
  7. 统信UOS专业版安装VMware
  8. Unity(三)三维数学和坐标系统
  9. Broadcasting 和 Element-Wise 操作
  10. log4j-2.x 版本jndi漏洞(使用ldap协议) 演示