【文献阅读】Faces of emotion in Parkinsons disease: Micro-expressivity and bradykinesia during voluntary facial expressions

Abstract

本文的主要工作是通过图像处理和数字计算的方法研究帕金森患者的表情运动是否异常。通过逐帧处理被试者面部表情的视频并计算像素点强度随时间变化的熵，发现帕金森病人的熵比健康人的熵要低，且达到巅峰表情的速度比健康人慢很多，这是由帕金森病人的运动徐缓和表情缺失引起的。

Method

Capturing and digitizing facial expressions

被试者的相关数据

表情序列的提取

被试者被要求在收到指示后做出指定的六种表情(happy, disgust, fear, sad, angry, and surprise)中的一种，每种表情做两次，利用索尼录像机记录指令开始后表情的变化过程，并在两段相同的表情中选取较好的一段(没有眨眼、头没有动等)。对于选取出来的每一段，至少会提取并保存一个30帧的序列，16%的帕金森患者可能需要提取到45帧左右。

面部区域的识别

先在每一帧上标记好20个面部关键点，事先开发好的电脑软件可以通过这20个关键点将视频中的面部区域提取出来，并将这个得到的面部轮廓应用到同一个表情序列的每一帧上。

Computing movement changes(entropy)

每个表情序列由一系列数字化图像组成，每个图像包含640×480640\times480640×480的像素阵列，每个像素的取值范围在[0,255][0, 255][0,255]。
定量计算表情变化的方法为：计算相邻两帧之间的对应像素点的强度值之差，并将所有差值求和，再除以像素点个数。即对于相邻的第k−1k-1k−1帧和第kkk帧，两帧间的表情变化定量计算如下：
Change[k−1:k]=∑i=0479∑j=0639(Pij(k−1)−Pijk)\ Change_{[k-1:k]}= \sum_{i=0}^{479}\sum_{j=0}^{639}(P_{ij(k-1)}-P_{ijk}) Change[k−1:k]=i=0∑479j=0∑639(Pij(k−1)−Pijk)
如此每相邻两帧之间都会得到一个像素点强度的平均变化值，将这些平均值再求和除以帧数NNN，就得到了这一组表情序列的熵：
Entropy=1N∑k=1N−1Change[k−1:k]\ Entropy =\frac{1}{N} \sum_{k=1}^{N-1}Change_{[k-1:k]} Entropy=N1k=1∑N−1Change[k−1:k]
因此，熵是在表情过程中，在面部移动时发生的像素强度变化的度量。由于光源在人脸上引入了均匀的强度分布，熵表示了与不同个体不同的人脸大小相关的归一化值。

上图展示了一个表情序列的原始图像，差异图像(相邻帧相减)以及熵(或像素差之和)随时间变化的图。其中，熵的计算公式如下：
Ei(t)=−∑i,jnj(t)Nilognj(t)Ni\ E_i(t)=-\sum_{i,j} \frac{n_j(t)}{N_i}log \frac{n_j(t)}{N_i} Ei(t)=−i,j∑Ninj(t)logNinj(t)
其中，i=1,2,...,12i=1,2,...,12i=1,2,...,12表示面部兴趣区域(region of interest)的序号；j=0,1,2,...,255j=0,1,2,...,255j=0,1,2,...,255表示单个像素点的灰度值；NiN_iNi表示第iii个兴趣区域的像素点总数；nj(t)n_j(t)nj(t)表示在由第ttt帧减去第t−1t-1t−1帧得到的差异帧(Subtracted Frames，对应上图1b部分)中，灰度值为jjj的像素点的数目。

Result

通过对计算结果的分析，发现帕金森患者的面部运动(熵)明显小于对照组(未患病的普通人)。

【文献阅读】Faces of emotion in Parkinsons disease相关推荐

文献阅读-Clinical and Biological subtypes of B-cell lymphoma revealed by microenvironment signature
文献阅读 Clinical and Biological subtypes of B-cell lymphoma revealed by microenvironmental signature Ab ...
文献阅读：深度学习模型利用生物医学文本上下文关系进行命名实体识别
文献阅读:利用深度学习模型在生物医学文本的上下文关系中进行命名实体识别题目 1 背景 2 材料和方法 2.1 GRAM-CNN方法 2.1.1 嵌入方法 2.1.2 GRAM-CNN 2.1.3 C ...
文献阅读笔记----TieNet: Text-Image Embedding Network
文献阅读笔记----TieNet: Text-Image Embedding Network for Common Thorax Disease Classification and Reportin ...
四位科研牛人介绍的文献阅读经验
每天保持读至少2-3 篇的文献的习惯.读文献有不同的读法,但最重要的自己总结概括这篇文献到底说了什么,否则就是白读,读的时候好像什么都明白,一合上就什么都不知道,这是读文献的大忌,既浪费时间,最 ...
最大熵模型（Maximum Entropy Model）文献阅读指南
最大熵模型(Maximum Entropy Model)是一种机器学习方法,在自然语言处理的许多领域(如词性标注.中文分词.句子边界识别.浅层句法分析及文本分类等)都有比较好的应用效果.张乐博士的最大 ...
条件随机场（Conditional random fields，CRFs）文献阅读指南
与最大熵模型相似,条件随机场(Conditional random fields,CRFs)是一种机器学习模型,在自然语言处理的许多领域(如词性标注.中文分词.命名实体识别等)都有比较好的应用效果.条 ...
文献阅读疑问(202010)
学习笔记,仅供参考文章目录文献阅读疑问 Unsupervised Deep Embedding for Clustering Analysis 文献阅读疑问 Unsupervised Deep E ...
那些文献阅读能力爆表的科研学子，都在偷偷做这件事……
对于广大科研学子来说,阅读文献这件事可谓是贯穿整个学术生涯,因为文献是了解现在所学专业的领域切入点,且做科研遇到难题时还可以在文献中寻找答案. 以及科研实验完毕后,若是准备发表论文,那么还得再看看文献 ...
知云文献翻译_工具推荐 | 知云学术翻译，让外文文献阅读不再难
点击上方蓝字"Edtshare"一起玩耍想必大家都经历过阅读外文文献的痛苦吧:专有名词不会.嵌套从句不懂.好不容易单词和句子都看懂了,连起来在说啥又一头雾水.笔者曾经深受其苦,所 ...

【文献阅读】Faces of emotion in Parkinsons disease