刚开始接触视线估计时,搜索资料时搜的是visual axis。。。实际上它有个更专业的名字Gaze。
具体到使用计算机视觉方法来解决Gaze问题就是,如何通过一张眼睛的图片以及相关数据,来估计出人眼的视线方向,注意这个视线方向(3d vector)可以基于相机坐标系,也可以基于头部坐标系。

有了这个vector能干啥呢?有了它就能更精确的知道人在看什么。浏览网页时,广告公司知道你的目光停留在哪里,对什么内容更感兴趣,从而更精确地定向投放广告。VR技术中如果知道视线,那么可以将人眼所看区域精细化绘制,对于人眼未注视的地方,仅渲染低分辨率图像,那么在性能更低的芯片上能够实现更好的体验效果。

汽车上的DMS系统(驾驶员监控系统)能够利用gaze判断驾驶员是否在驾驶过程中低头玩手机,是否在看非行驶区域,从而给予及时报警,降低事故的发生。

根据实现的方法不同,大致可以分为基于模型的方法(model based)和基于外观的方法(apperance-based)。

  • Model based 方法
    通过建立眼球和瞳孔模型,在获取到瞳孔2d坐标后可以fit出眼球瞳孔的3d模型参数,从而计算出gaze vector

  • Apperance based 方法
    这种方法的本质是找到从图片到gaze vector的映射函数,输入直接就是图片,输出就是vector,模型可以使用随机森林和卷积神经网络,相比Model based的方法,这种end to end的方法真是强大,不要跟我谈什么眼睛模型,不要跟我讲算什么瞳孔位置在哪里,操起键盘一把梭,结果就出来了。。。
    对于使用网络的方法,一个经典结构如下:

MPII Gaze 论文使用的模型结构

输入是一张眼睛的图片+头部headpose,输出则是眼睛相对相机坐标系的pitch和yaw, 这个极坐标系下的pitch和yaw可以转换为卡迪尔坐标系下的三维坐标。

这篇文章先介绍些Gaze的基本背景知识,后面会主要介绍feature based的论文和代码。

欢迎关注公众号:OpenCV图像处理

里面会分享很多官员OpenCV和视觉相关知识.

Gaze vector介绍相关推荐

  1. C++ stl vector介绍

    转自: STL vector用法介绍 介绍 这篇文章的目的是为了介绍std::vector,如何恰当地使用它们的成员函数等操作.本文中还讨论了条件函数和函数指针在迭代算法中使用,如在remove_if ...

  2. c++容器vector介绍

    vector简介 vector是STL中最常见的容器,它是一种顺序容器,支持随机访问.vector是一块连续分配的内存,从数据安排的角度来讲,和数组极其相似,不同的地方就是:数组是静态分配空间,一旦分 ...

  3. STL的Vector介绍

    Vector在使用的时候比数组要方便得多,自从学会使用后,我基本上使用Vector代替了数组,编程效率提高了很多.在此进行简单的介绍. vector 是同一种类型的对象的集合,每个对象都有一个对应的整 ...

  4. std::vector介绍

    文章来源:http://blog.csdn.net/willoj/article/details/2252543 vector是C++标准模板库中的部分内容,它是一个多功能的,能够操作多种数据结构和算 ...

  5. C++标准库类型vector介绍

    3.3 标准库类型vector 标准库类型vector表示对象的集合,其中所有对象的类型都相同,集合中的每个对象都拥有一个与之对应的索引,索引用于访问对象,因为vector容纳着其他对象,所以也经常被 ...

  6. vector介绍及使用

    1.vector的介绍 1)vector是可以表示可变大小数组的序列容器 2)vector采用的连续存储空间来存储元素,如同数组一样,因此也可以用下标对vector中的元素进行访问. 3)本质上,ve ...

  7. 吊打面试官:Vector详细介绍(源码解析)和使用示例

    概要 学完ArrayList和LinkedList之后,我们接着学习Vector.学习方式还是和之前一样,先对Vector有个整体认识,然后再学习它的源码:最后再通过实例来学会使用它. 第1部分 Ve ...

  8. C++vector用法的初步介绍

    vector介绍: 1.容器,存放各种类型的对象,能够增加和压缩数据. 2.像数组一样,采用连续存储空间来存储数据.可采用下标进行访问,大小是动态改变的. 3.本质讲,vector使用动态分配数组来存 ...

  9. Java 集合系列06: Vector深入解析

    戳上面的蓝字关注我们哦! 精彩内容 精选java等全套视频教程 精选java电子图书 大数据视频教程精选 java项目练习精选 概论 这是接着以前的文章分享的,这里给出以前的文章的连接,供小伙伴们回顾 ...

最新文章

  1. 初识C语言---(2)
  2. GF(2^8)上的多项式乘法(Matlab实现)
  3. datatables[columns] 中的详细参数
  4. 荣耀v40可以升级华为鸿蒙,网传荣耀V40机型也能升级鸿蒙OS 首批更新机型有望是这5款...
  5. CNN理解比较好的文章
  6. Android 人脸照片对比,人脸对比
  7. 聊聊Socket、TCP/IP、HTTP、FTP及网络编程
  8. 计算机视觉目标检测算法总结1——简介
  9. 蓝桥杯 ALGO-39 算法训练 数组排序去重
  10. SVN: repository browser 库浏览器
  11. 联想教育应用使用说明(7.6版本)——第2章 联想教育应用的首次部署
  12. watir学习系列--对话框处理
  13. zipf定律与相似性度量
  14. 双系统——彻底删除ubuntu
  15. 使用伪类来实现类似微信群聊的头像样式
  16. MySQL 变量的详细讲解
  17. 建造者模式用JAVA的简单实现
  18. mdb java_java从mdb文件中读出数据
  19. php如果实现日历的制作,教你如何制作一个简单的PHP日历
  20. 一个屌丝程序猿的人生(一百一十)

热门文章

  1. 嵌入式linux学习笔记--TCP通讯整理
  2. 极客时间 自我提升第二天 数据结构与算法之美 应该掌握 / 趣谈网络原理 / 深入浅出计算机组成原理 思维导图
  3. 整理控|四象限系列电脑桌面壁纸分享一波
  4. Base64在线解析,编码转化为图片
  5. 赛门铁克通配型SSL证书
  6. 爬虫系列 一次采集.NET WebForm网站的坎坷历程
  7. Steam内存测试工具
  8. HTTP HTTPS SSL TLS
  9. mysql括号被过滤_mysql必知必会--数 据 过 滤
  10. 审查元素:html标签消失。