一、比赛前言信息

比赛名称：Google - Isolated Sign Language Recognition

中文名称：帮助用户从PopSign游戏学习美国手语

比赛链接：https://www.kaggle.com/competitions/asl-signs/

比赛类型：时序视频分类、手语识别

二、比赛背景

在美国，每天有 33 名婴儿出生时患有永久性听力损失。其中大约 90% 的父母是听力正常的人，其中许多人可能不懂美国手语。

如果没有手语，聋哑婴儿有患上语言剥夺综合症的风险。这种综合症的特点是在语言学习的关键时期无法获得自然发生的语言习得。它会对他们生活的不同方面造成严重影响，例如人际关系、教育和就业。

学习美国手语对说英语的人来说和学习日语一样困难。这需要很多父母没有的时间和资源。他们想学习手语，但是当他们为了维持生计而长时间工作时，这很难。即使他们找到了上课的时间和金钱，上课的地方也往往很远。

PopSign 是一款智能手机游戏应用程序，它使学习美国手语变得有趣、互动且易于访问。玩家将 ASL 标志的视频与包含书面英语单词的泡泡相匹配以弹出它们。

PopSign 旨在帮助有失聪儿童的父母学习美国手语，但它对任何想学习手语词汇的人开放。通过添加本次比赛的手语识别器，PopSign 玩家将能够在他们想要射出的泡泡类型上签名，让玩家有机会自己练习手语，而不仅仅是观看其他人手语的视频。

三、比赛任务

本次比赛的目标是对美国手语 (ASL) 标志进行分类。选手需要创建一个 TensorFlow Lite 模型，使用 MediaPipe 搭建解决方案进行训练。

四、评价指标

本次比赛的评估指标是简单的分类准确率。选手需要提交一个 TensorFlow Lite 模型文件。该模型必须将一个或多个地标帧作为输入，并返回一个浮点向量（每个标志类别的预测概率）作为输出。

您的模型必须打包到 submission.zip 文件中并与 TensorFlow Lite Runtime v2.9.1 兼容。

欢迎您使用您选择的框架训练您的模型，只要您在提交之前将模型检查点转换为 tflite 格式即可。

您的模型还必须需要少于 40 MB 的内存，并且每个视频执行推理的延迟要少于 100 毫秒。

五、数据描述

train_landmark_files/[participant_id]/[sequence_id].parquet：使用 MediaPipe 整体模型从原始视频中提取地标。并非所有的框架都必须有可见的手或模型可以检测到的手。

frame - 原始视频中的帧数。
row_id - 行的唯一标识符。
type - 地标的类型。[‘face’, ‘left_hand’, ‘pose’, ‘right_hand’] 之一。
type - 地标的类型。[‘face’, ‘left_hand’, ‘pose’, ‘right_hand’] 之一。
[x/y/z] - 地标的归一化空间坐标。这些是将提供给您提交的模型进行推理的唯一列。MediaPipe 模型没有经过充分训练来预测深度，因此您可能希望忽略 z 值。

train.csv：

path - 地标文件的路径。
participant_id - 数据贡献者的唯一标识符。
sequence_id - 界标序列的唯一标识符。
sign - 地标序列的标签。

六、解题思路

赛题是一个比较典型的时序分类任务，但需要考虑模型的速度和精度。从数据类型来看，CNN模型可能是更容易训练的模型。

训练一个深度学习模型
调整模型精度
蒸馏、量化增加模型速度
转换为tflite格式

Kaggle赛题解析：Google手语识别相关推荐

Kaggle赛题解析：Diffusion Prompt生成
文章目录一.比赛信息二.比赛背景三.比赛任务四.评价指标五.数据描述六.解题思路一.比赛信息比赛名称:Stable Diffusion - Image to Prompts 推断生成高 ...
自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第16章：Kaggle BERT比赛CommonLit Readability Prize赛题解析
自然语言处理NLP星空智能对话机器人系列:NLP on Transformers 101 第16章:Kaggle BERT比赛CommonLit Readability Prize赛题解析第16章: ...
2021年全国大学生电子设计大赛（一）赛题解析与预测
2021年全国大学生电子设计大赛赛题解析与预测参考链接往年赛题解析: 2015年无人机赛题: (2015)基本目标: (2015)发挥目标: (2015)赛题分解: 2017年赛题分析: (201 ...
阿里云天池大赛赛题解析(深度学习篇)--阅读笔记1--赛题一
阿里云天池大赛赛题解析(深度学习篇)–阅读笔记1 [x]表示遇到不懂的知识,将在[知识补充]给出具体讲解. 文章目录阿里云天池大赛赛题解析(深度学习篇)--阅读笔记1 前言赛题一瑞金医院MMC人 ...
【赠书】阿里云天池大赛赛题解析，深度学习篇！
‍‍ 阿里云天池作为国内知名的竞赛平台和AI社区,自诞生以来就一直秉持着让更多人公平获得大数据的理念.也正因此,天池每场经典赛事沉淀的课题和数据集都会永久保留和开放.截至目前,天池平台已举办了超过20 ...
B题-具有自动泊车功能的电动车赛题解析TI杯2022年省级大学生电子设计竞赛联赛（10月）
1.赛题解析-具有自动泊车功能的电动车(B题) 2.完成本赛题必备的元器件清单 3.赛题实现与动作分解视频演示 4.任务实现软件部分讲解 5.倒车/侧方入库相关的参数调节方法 6.常见问题整理无名小 ...
KDD Cup 2021城市大脑赛题解析！报名倒计时3天
↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale赛事 KDD Cup 2021,数据挖掘顶会赛题比赛链接:http://ww ...
阿里云天池大赛赛题解析――深度学习篇
作者:天池平台出版社:电子工业出版社品牌:电子工业出版社出版时间:2021-09-01 阿里云天池大赛赛题解析――深度学习篇
2013第四届蓝桥杯Java组省赛题解析
2013第四届蓝桥杯Java组省赛题解析目录第一题:高斯日记第二题:马虎的算式第三题:第39级台阶第四题:黄金连分数第五题:前缀判断第六题:三部排序第七题:错误票据第八题:翻硬币 ...

Kaggle赛题解析：Google手语识别

文章目录