1. 数据集介绍

本实验所用数据集为从Kaggle平台下载的手语数据集（sign_mnist）中选取的部分数据。

sign_mnist 数据集格式的模式化与经典 MNIST 紧密匹配。每个训练和测试用例表示一个标签（0-25），作为每个字母 A-Z 的一对一映射（由于手势运动，9=J 或 25=Z 没有情况）。训练数据（27，455 个案例）和测试数据（7172 个案例）大约是标准 MNIST 大小的一半，但在其他方面与标签 pixel1，pixel2....pixel784 的标题行相似，它们表示单个 28x28 像素图像，灰度值在 0-255 之间。原始手势图像数据表示多个用户在不同背景下重复手势。部分示例图片如下：

本实验从以上数据集中选取十个手势分别定义为 0~9，定义示例图如下：

本实验所用数据集将原始的 CSV 文件转换成图片（png）格式，两种格式文件下载见文末总结。

2. 训练、保存网络

随机选取 20 张图片进行展示。

clc; clear
gesture_dataset_path = fullfile('dataset', 'train_data');
imds=imageDatastore(gesture_dataset_path, 'FileExtensions',...
{'.png','.jpg','.tif'},'IncludeSubfolders',true,...
'LabelSource','foldernames');figure
numImages = 11599;
perm = randperm(numImages,20);     % 随机选取20个数，perm是1*20double数组
for i = 1:20                       % 此循环是MATLAB自带示例subplot(4,5,i);imshow(imds.Files{perm(i)});   % 显示随机选取的20幅图像drawnow;
end

展示如图：

cnn网络结构图：

训练结果：

训练结果显示，其验证准确度达到了 99.97%，效果很好。

3. 手势识别

通过使用测试数据集中的图片进行手势识别，查看识别效果。

clc; clear% 导入训练好的 CNN 网络
load("cnn.mat");% 对测试数据集任一图像测试
I = imread('dataset\test_data\5\5_100.png');
imshow(I);
title(classify(net, I));% 查看对测试数据集中手势 5 的识别正确率
m = 0;
for i = 1:310P = imread(strcat('dataset\test_data\5\5_', num2str(i),'.png'));if double(string(classify(net, P))) ~= 5m = m + 1;end
end
accy = (310 - m) / 310;
fprintf('The accuracy rate is %6.4f.\n', accy);

4. 识别结果

结果显示，对测试数据集中手势 5 的识别正确率为 93.55%。

5. 总结

1. 识别效果良好，最终的手势识别测试可以改进做一个 GUI 界面更好。

2. 本实验所用数据集和全部源代码下载。

MATLAB基于卷积神经网络的手势识别相关推荐

基于卷积神经网络的手势识别研究论文
1.卷积神经网络有哪些改进的地方卷积神经网络的研究的最新进展引发了人们完善立体匹配重建热情.从概念看,基于学习算法能够捕获全局的语义信息,比如基于高光和反射的先验条件,便于得到更加稳健的匹配.目前 ...
MATLAB基于BP神经网络的手势识别
MATLAB基于BP神经网络的手势识别摘要:给出了采用MATLAB来识别五个手指和手背的同心圆距离,并通过颜色肤色的方法来提取手势特征量,同时利用BP神经网络算法进行误差分析来实现手势识别的设计方 ...
【图像识别】基于卷积神经网络实现手写汉字识别附matlab代码
1 内容介绍 1.1. 数据集的获取数据集的获取来自模式识别国家重点实验室共享,这个不解释直接上网址http://www.nlpr.ia.ac.cn/databases/download/featu ...
基于卷积神经网络的数字手势识别APP(安卓) 毕业设计附完整代码
项目简介这是一个基于卷积神经网络的数字手势识别 APP(安卓),主要功能为:通过手机摄像头识别做出的数字手势,能够识别数字 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10 对应的手 ...
Android基于卷积神经网络的数字手势识别识别数字手势0-10 Android studio编译
这篇博客主要基于我做的一个数字手势识别APP,具体分享下如何一步步训练一个卷积神经网络模型(CNN)模型,然后把模型集成到Android Studio中,开发一个数字手势识别APP.Android基于 ...
一种基于卷积神经网络的图像去雾研究-含matlab代码
目录一.绪论二.去雾卷积网络 2.1 特征提取 2.2 多尺度映射 2.3 局部均值 2.4 非线性回归三.实验与分析四.Matlab代码获取一.绪论雾是一种常见的大气现象,空气中悬浮的水 ...
基于卷积神经网络的手写汉字识别[matlab版本][可识别509类汉字]
基于卷积神经网络的手写汉字识别[matlab版本][可识别509类汉字] ####一. 数据集的获取数据集的获取来自模式识别国家重点实验室共享,这个不解释直接上网址http://www.nlpr.i ...
【图像识别】基于卷积神经网络cnn实现银行卡数字识别matlab源码
1 基于卷积神经网络cnn实现银行卡数字识别模型模型参考这里. 2 部分代码 %印刷体识别 clc;clear;close all; addpath('util/'); addpath('data/ ...
卷积神经网络matlab_基于卷积神经网络的遥感图像养殖区自动划分
基于卷积神经网络的遥感图像养殖区自动划分摘要:卷积神经网络是目前计算机视觉领域广泛应用的模型.我们在传统卷积神经网络的基础上,替换了全连接层,借助高分辨率图像,对海水养殖区进行识别和标记,最终实现了 ...

MATLAB基于卷积神经网络的手势识别