基于卷积神经网络的微表情识别研究需要注意的一些问题【未完待续】

使用Python读取数据需要注意的问题：

输入网络的数据格式：（样本数，size，size，channel）
TensorFlow：channel_first
Theano：channel_last
读取图片：cv2.imread() 默认RGB 3通道，读取灰度图则加上cv2.IMREAD_GRAYSCALE
读取txt文件：file.read().splitlines() 去换行符
读取Excel中的数字，会将整数读成小数，因此数据应该使用文本类型存储，在Excel中数字前面加英文的逗号，再删去，即可变为文本类型。或者设置文本类型后按F2（编辑）+Enter（下一列），可以快速将数字类型改为文本类型
CASME II数据集中的preprocessed_Li Xiaobai 中有几个样本的视频帧索引与raw_selected中的不同，需要进一步处理
遍历文件夹下的所有图片：frames = glob(os.path.join(frame_path, ‘*.jpg’)) 其中，星号表示多个任意字符

网络设计和调参需要考虑的问题：

修改网络的batch_size 和lr 对精度的影响很大
数据需要进行归一化，亮度差异会导致网络动荡
网络设计的原则，以及针对不同数据网络大小深浅如何确定？（复杂的任务用浅的网络会导致不收敛，小样本训练用深的网络容易过拟合）

预处理过程会遇到的问题：

对于SMIC数据集缺少顶点帧标签，采用文献（Li Yante, Huang Xiaohua, Zhao Guoying. Can Micro-Expression be Recognized Based on Single Apex Frame? [C]. 2018 25th IEEE International Conference on Image Processing (ICIP), 2018: 3094-3098.）提出的方法进行顶点帧定位有一定的偏差。（源码：https://github.com/liyantett/CAN-MICRO-EXPRESSION-BE-RECOGNIZED-BASED-ON-SINGLE-APEX-FRAME，亲测可用）
针对SAMM数据集，需要进行人脸检测、裁剪和对齐，使用OpenCV中的Dlib人脸检测器。如果对一个样本的每一帧都进行人脸检测，由于算法本身不够精确，会导致每次检测到的关键点位置略有不同，因此造成人为的头部运动。此时可以只检测第一帧的人脸关键点并进行人脸裁剪和对齐，之后将该操作应用到这个样本的剩余所有帧上。（由于微表情发生的时间极短，所以头部刚性运动基本可以忽略不计）

基于卷积神经网络的微表情识别研究需要注意的一些问题【未完待续】相关推荐

基于卷积神经网络的人脸表情识别应用--AR川剧变脸（二）
本项目将在Android上实现一种通过识别表情类别,从而给人脸戴上不同样式脸谱的AR软件,效果如下: 基于表情识别的脸谱换脸AR安卓APP效果演示想要实现这样一个软件,核心就是两部分: 1)使用卷积 ...
基于卷积神经网络的人脸表情识别应用--AR川剧变脸（一）
1.摘要本项目将在Android上实现一种通过识别表情类别,从而给人脸戴上不同样式脸谱的AR软件,效果如下: 基于表情识别的脸谱换脸AR安卓APP效果演示通过深度学习和Keras训练一个人脸表情识 ...
基于卷积神经网络的人脸表情识别(JAFFE篇)
一.前言人脸表情识别依然是计算机视觉中的研究重点,那就意味着它还有水文章的可能性.本专题将专门讨论各种表情识别的研究方法,当然我们从最简单的单一卷积网络开始.本文中的代码直接复制到电脑端(pytho ...
Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别
Micro-expression recognition with supervised contrastive learning基于对比监督学习的微表情识别--2022 PRL 文章链接:https ...
基于卷积网络的人脸表情识别及其应用
基于卷积网络的人脸表情识别及其应用前言一.人脸表情识别技术现状二.卷积神经网络技术概述 1.卷积神经网络图像理解过程 2.卷积神经网络组成结构 3.卷积神经网络的优势三.人脸表情识别卷积网络模 ...
【Pytorch】基于卷积神经网络实现的面部表情识别
作者:何翔学院:计算机学院学号:04191315 班级:软件1903 转载请标注本文链接: https://blog.csdn.net/HXBest/article/details/1219812 ...
基于卷积神经网络的辛普森角色识别
摘要基于深度学习在图像分类领域的优异性能,本文研究基于图像识别技术的辛普森角色自动识别方法.首先采集18个角色的16503幅辛普森角色图像数据集,然后在CNN模型框架下,修改最顶端的全连接层与分类 ...
基于卷积神经网络的小麦病害识别方法
基于卷积神经网络的小麦病害识别方法 1.研究思路首先以小麦病害图片资料为基础,利用中值滤波法.直方图阈值法等对图像进行去背景.去噪.病斑分割等预处理形成样本库,然后利用卷积神经网络构建一个具有五层结 ...
基于卷积神经网络的序列特异性预测研究--云南大学范航恺硕士论文
基于卷积神经网络的序列特异性预测研究--云南大学范航恺硕士论文摘要研究背景研究现状研究意义与所作工作: 第二章生物学应用背景模体的概念模体的表示方法模体序列特异性的评价方法第三章深 ...
基于卷积神经网络的不良地质体识别与分类
在泛函分析中,卷积.旋积或摺积(英语:Convolution)是通过两个函数f 和g 生成第三个函数的一种数学算子,表征函数f 与g经过翻转和平移的重叠部分的面积. 如果将参加卷积的一个函数看作区间的 ...

基于卷积神经网络的微表情识别研究需要注意的一些问题【未完待续】

使用Python读取数据需要注意的问题：

网络设计和调参需要考虑的问题：

预处理过程会遇到的问题：

基于卷积神经网络的微表情识别研究需要注意的一些问题【未完待续】相关推荐

最新文章

热门文章