数据是深度学习系统的输入，对深度学习的发展起着至关重要的作用，但是又容易被很多人忽视，尤其是缺少实战的理论派。

今天便来谈谈这个问题，同时介绍一个好的学习社区供大家讨论与提升。

文/编辑 | 言有三

1 需要掌握哪些内容

在公司实战项目做久了的同学，应该都有这个感慨。吾本欲在算法领域大展拳脚，奈何清洗和增加数据就可以让模型性能突飞猛进。我们确实会花费很多的时间去折腾数据，总的来说包括：

(1) 获取数据。

(2) 整理数据。

(3) 分析数据。

(4) 使用数据。

(5) 迭代数据。

所谓获取数据，包括公开数据集的搜索和下载，使用爬虫等工具从零建立数据集。

所谓整理数据，包括格式化，重命名，去重，标注等。

所谓分析数据，包括数据的统计和可视化分析等。

所谓使用数据，包括在开源框架中数据集的接口定义，数据增强策略的使用等。

所谓数据迭代，主要就是针对自己的任务不断调整数据以优化模型等。

2 有三AI已经做了什么

作为这么重要的一个课题，我们当然已经分享过很多的内容了，下面汇总一下。

2.1 数据获取

关于数据获取问题，我们给大家介绍过许多领域的数据集以及数据集对深度学习的影响，相关文章如下：

【技术综述】一文道尽“人脸数据集”

【数据集】自动驾驶都有什么测试基准？

【数据集】一文道尽医学图像数据集与竞赛

【数据】短视频识别，都有那些行业标准？

【数据】深度学习从“数据集”开始

也多次介绍过爬虫算法，推荐过不少好的项目，相关文章如下：

【杂谈】深度学习必备，各路免费爬虫一举拿下

【AI白身境】学深度学习你不得不知的爬虫基础

2.2 数据整理

关于数据整理问题，我们在开源GitHub项目yousan.ai中提供了整套的python和shell脚本，覆盖图像遍历，重命名，随机打乱，去重等功能。

2.3 数据分析

关于数据分析问题，我们已经多次介绍过数据可视化相关的内容，相关文章如下：

【AI白身境】深度学习中的数据可视化

【技术综述】“看透”神经网络

2.4 数据使用

关于数据使用问题，我们已经在yousan.ai中对12个常用的深度学习开源项目如何从头开始定义数据读取和增强API进行了详细的解读，相关文章如下

【完结】给新手的12大深度学习开源框架快速入门项目

【技术综述】深度学习中的数据增强方法都有哪些？

【开源框架】一文道尽主流开源框架中的数据增强

关于数据迭代，每一个领域的做法都不同，因此我们在公众号还没有相关内容，后续会在知识星球中针对具体的任务进行讲解。

3 哪里有更多更新

以上就是全部了吗？当然远远不是。有三在知识星球平台有更多内容，覆盖珍贵的数据集下载，相关经验分享。

3.1 经验分享

有一些非常干货的内容，有三只会提供给咱们付费成员，比如数据增强的实战经验，以后还会有更多。

3.2 数据集分享和下载

在有三AI知识星球中会对各大领域中的数据集进行系统性介绍，另外为了方便大家收藏阅读，有三将分享做成了卡片的形式，并提供了下载链接，案例如下：

有三AI知识星球-数据集

Distracted Driver Detection

Distracted Driver Detection是一个司机状态检测数据集，包含10个状态，共22425张图 。

作者/编辑 言有三

数据集地址：https://www.kaggle.com/c/state-farm-distracted-driver-detection/data，发布于2016年。

每年很多的交通事故的发生都是因为司机没有专注于自动驾驶，因此一个好的辅助驾驶系统不仅要关注车外的情况，也要时刻关注车内驾驶员的情况。

这一个数据集来自于Kaggle平台，该包含了10种状态，如下：

c0: safe driving

c1: texting - right

c2: talking on the phone - right

c3: texting - left

c4: talking on the phone - left

c5: operating the radio

c6: drinking

c7: reaching behind

c8: hair and makeup

c9: talking to passenger

一些样本如下，每一类约2000多张图像，共22425张图。

现在咱们星球已经覆盖非常多的重磅数据集下载，覆盖大型数据集如ImageNet，人脸各个方向的数据集，自动驾驶各方向数据集，美学各方向数据集，人像各个方向数据集，3D数据集，动植物各个方向数据集，仔细瞧瞧，一定会有惊喜！

同时小伙伴们也会来经常分享自己的数据集，相信在大家的努力下，这里东西的价值无法想象。

预告一下，有三后面还会在星球内部搞比赛，提供自己标注的数据集，敬请期待。

4 最后要说的话

数据的使用的确是一门经验活，很多的时候我们都卡在了这里，甚至连数据集的下载都搞不定。

因此，我们在有三AI知识星球中提供相关分享，更提供相关的经验交流，如果真的需要，就加入有三AI知识星球，一起讨论学习吧。

另外，数据集只是有三AI知识星球中的一个板块，还有很多重磅，比如网络结构设计：如何系统性掌握深度学习模型设计和优化，相信你不会失望。

转载文章请后台联系

侵权必究

• 有三AI知识星球官宣，BAT等大咖等你来撩

• 揭秘7大AI学习板块，这个星球推荐你拥有

• 有三AI 1000问回归，备战秋招，更多，更快，更好，等你来战！

• 【知识星球】做作业还能赢奖金，传统图像/机器学习/深度学习尽在不言

• 【知识星球】颜值，自拍，美学三大任务简介和数据集下载

• 【知识星球】数据集板块重磅发布，海量数据集介绍与下载

• 【知识星球】猫猫狗狗与深度学习那些事儿

• 【知识星球】超3万字的网络结构解读，学习必备

• 【知识星球】视频分类/行为识别网络和数据集上新

• 【知识星球】3D网络结构解读系列上新

• 【知识星球】动态推理网络结构上新，不是所有的网络都是不变的

• 【知识星球】Attention网络结构上新，聚焦才能赢

• 【知识星球】几个人像分割数据集简介和下载

• 【知识星球】总有些骨骼轻奇，姿态妖娆的模型结构设计，不知道你知不知道，反正我知道一些

• 【知识星球】从SVM对偶问题，到疲劳驾驶检测，到实用工业级别的模型压缩技巧