W!NCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear

文章目录

W!NCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear
- 每一篇论文都需要问自己：
- 摘要：
- 需要解决的挑战：
- 以往的方式
- - 基于相机的方式[6, 15, 37, 48]
  - 接近传感器([52],[30])
  - EMG([49][20][19])
  - EOG([8,9][23]
- 从生理信号中去除动作伪影
- - 滤波方式
  - 传感器选择
- 解决过程
- - 去除伪影
  - 脸部动作识别
  - 个性化迁移学习
  - 减少计算复杂度
- 怎么设计实验
- - 建立数据集
  - 评估

每一篇论文都需要问自己：

什么是EOG?
眼球是一个双极性的球体，角膜相对于视网膜呈现正电位，两者之间有电位差，在眼睛的周围形成一个电场，当眼球转动时，该电场的空间相位发生变化。眼球运动可以产生生物电现象，角膜和网膜之间存在一个电位差，角膜对网膜是带正电的。当眼睛注视前方不动时，可以记录到稳定的基准电位。眼睛在水平方向上运动时，眼睛左侧和右侧的皮肤之间的电位差会发生变化，在垂直方向上运动时，眼睛的上下侧的电位会发生变化。电位的变化由置于皮肤相应位置的电极导入放大器，有放大器的电流计显示出来或在示波器上显示，就是眼电信号。来源
创新在哪里？
EOG的电极分布不一样。更加没有侵入性的布置，初步消除了运动伪影。
与最相似的论文的区别在哪里？
用了不同的脸部表情，这篇的脸部动作都是为了检测疼痛，做一个疼痛检测系统作为他的贡献。EOG的电极分布不一样。
得到什么样子的效果？
达到了准确0.88的准确率。局限在于都是根据已知动作去训练然后进行分类，而不是无穷尽动作。

摘要：

以往利用while wearable EEG [12, 34], electrodermal activity [16, 38], and respiration sensors[32]去情感检测。现在利用市面上一个基于EOG的只能眼镜通过两个阶段的处理阶段去除了运动伪影，然后进行脸部运动检测。达到了准确0.88的准确率。

需要解决的挑战：

1.之前实验室的EOG是在脸部的前额和眼镜的周围放置了五个电极，而我们只是在眼镜的鼻托上放置电极，信号会变得比较微弱，以及没有那么多角度去测量。
解决方案：在信号的振幅、方向和时间模式上观察特征加以克服。
2. 这会导致信号会受到头部和身体变动所引起的阻抗变化。这些变化会引起运动伪影，干扰我们做各种表情的真实信号，需要进行消除。
解决方案：结合加速度计和陀螺仪通过自适应滤波器或CNN网络进行消除。

以往的方式

以下一些方式的对比：包括在不同的技术下的用户体验的舒适性和侵犯性？能移动使用吗？用户评价接受度有多广？

基于相机的方式[6, 15, 37, 48]

1、用户很难自由移动
2、有限视场（FOV)

接近传感器([52],[30])

1、受到光照的印象，太需要指向脸部，而且近距离视场

EMG([49][20][19])

1、需要遍布脸部电极，侵入性比较大。

EOG([8,9][23]

1、侧重点不同。

从生理信号中去除动作伪影

去除伪影在PPG、EEG和ECG都比较经常用到。

滤波方式

1、频域滤波（用在ECG PPG，需要是周期性信号）【54】
2、时域噪声去除方法，比如自适应滤波，不需要周期性信号【8，14】；很多自适应滤波方法采用递归最小二乘(RLS)、最小均方乘(LMS)、归一化最小均方乘(NLMS)等。
3、非线性函数逼近器（神经网络）【18，40，56】
本文采用了NLMS方法以及神经网络的方式。

传感器选择

我们需要一个传感器来准确知道引起伪影的时间。通常都是使用IMU，还有一些人用了加速度计【8，10，44】；压电和拉伸传感器。【7，21】

IMU和EOG之间的关键区别在于它们检测上面部和下面部手势的能力。

解决过程

第一阶段去除伪影，第二阶段脸部识别。

去除伪影

我们需要建立一个模型来去除伪影，也就是将IMU的数据与EOG的伪影数据进行映射，然后真实EOG数据减掉伪影数据就好了。
参数：
S(n)代表的是真实数据，n是时间刻度，M(n)是估计的运动伪影。

要从IMU的数据映射到M(n)，因此我们需要建模。构建一个时变函数：

α是线性加速度，ω是旋转角速度。为了求取这个函数：
我们用了两种方法。
1、NLMS方法
输入：六个输入流：三个加速度和三个陀螺仪轴。
输出：四个输出流：(The signals it provides are the vertical difference (V), horizontal difference (H) and the raw left (L)and right ® electrode readings）
不应该是4*7 = 28个吗，不明白为啥是30个(原文：For each output stream, we need six NLMS filters per input stream and one adaptive filter to fuse these outputs.In other words, we need a total of 30 filters.)
滤波器的权重是自适应线上更新的。采用50order(利用50个进行训练估计），学习率设置为0.05。

2、基于神经网络回归模型
输入：300size的向量（50个数据点 x 6轴)
输出：4轴数据
隐藏层：20个神经元
还有可缩放后处理模块（让估计的振幅和EOG信号有相同的标准差，因此能相互抵消）

脸部动作识别

CNN结构

个性化迁移学习

由于不同人的表情动作不太一样，所以作者进行了一定的迁移学习训练。在原有的CNN模型中添加了迁移学习训练，重新训练了全连接层。

减少计算复杂度

通过触发机制来减小运算负担。没有实时进行CNN等运算，而是当有活动出现的时候则触发运动伪影算法，只有触发伪影后才触发后续模块算法。

怎么设计实验

建立数据集

1、设置了三种场景：固定的面部动作、边走路边面部动作、边动头边面部动作（因为用户很难这么做，所以进行了信号合成）；以及最后用OpenFace作为ground truth labeling。
2、17个用户，男女比例，平均年龄；动作包括：抬起眉毛，减低眉毛，抬起脸颊、皱鼻子，眨眼和“none class”；每一个用户每一个动作分别做20次；还简单收集了过程中的非自愿眨眼动作，把这一类分给“none” class；

评估

1、准确率
2、滤波后信噪比
3、伪影消除前后的信号图
3、伪影去除的噪声比较（自适应滤波&神经网络&完全没滤波）；（加速度计陀螺仪加速度计和陀螺仪）；
4、不同用户的动作差异带来的迁移学习结果，发现6个人动作准确率不会再上升了。

论文笔记【WiNCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear】相关推荐

Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记
Do Deep Neural Networks Learn Facial Action Units When Doing Expression Recognition?阅读笔记前言 Abstract ...
【论文笔记】Remote Sensing Image Change Detection with Transformers
论文论文题目:Remote Sensing Image Change Detection with Transformers 收录于:IEEE TGRS2021 论文地址:Remote Sensin ...
【论文笔记】A Survey on Masked Facial Detection Methods and Datasets for Fighting Against COVID-19
声明不定期更新自己精度论文,通俗易懂,初级小白也可以理解涉及范围:深度学习方向,包括 CV.NLP.Data Fusion.Digital Twin 论文标题:A Survey on Masked ...
【论文笔记】Spatiotemporal Residual Networks for Video Action Recognition
目录摘要 1 介绍 3. 技术方法 3.1 Two-Stream residual 网络 3.2跨时间的卷积剩余连接 3.3建议结构 (Proposed architecture) 参考文献参考 ...
论文笔记目录（ver2.0）
1 时间序列 1.1 时间序列预测论文名称来源主要内容论文笔记:DCRNN (Diffusion Convolutional Recurrent Neural Network: Data-Dr ...
论文笔记： Local climate zone mapping as remote sensing scene classifcation using deep learning: A case s
论文笔记1: Local climate zone mapping as remote sensing scene classifcation using deep learning: A case ...
【论文笔记】Crop phenotyping in a context of Global Change: what to measure and how to do it
[论文笔记]Crop phenotyping in a context of Global Change: what to measure and how to do it 全球变化背景下的作物表型: ...
【论文笔记】Encoding cloth manipulations using a graph of states and transitions
[论文笔记]Encoding cloth manipulations using a graph of states and transitions Abstract 问题: Cloth manipu ...
Reconstructing Detailed Dynamic Face Geometry from Monocular Video 论文笔记
Reconstructing Detailed Dynamic Face Geometry from Monocular Video 论文笔记摘要文章提出了一种从单目视频中获取人脸几何信息的方法. ...
【时序】应用于时间序列的 Transformer 综述论文笔记
论文名称:Transformers in Time Series: A Survey 论文下载:https://arxiv.org/abs/2202.07125 论文源码:https://github ...

论文笔记【WiNCE: Unobtrusive Sensing of Upper Facial Action Units with EOG-based Eyewear】