机器视觉中常用开源数据集和免费标注工具
科技巨头如Google,微软,亚马逊等都纷纷宣布在AI领域布局,AI的影响随着深度学习的应用日益深入。机器视觉作为一个热门子领域,无论是在传统金融行业还是最新自动驾驶领域都掀起了一股学习应用的浪潮。
这是多么棒的一件事啊!
但是我们应该如何简单的开始研究机器视觉?以下是几个主要的步骤:
- 收集大量的数据
- 标注这些数据
- 拿到GPUs-训练ML模型需要强大的计算支撑
- 选择一个算法-训练你的模型-检测结果-教会你的模型它还不知道的东西
重复以上步骤直到你得到的满意的模型准确率。
以上5步中的每一步都有他们自己的技术和操作注意事项。在这篇文章中,我们会针对第2条(标注训练数据)来进行简单的讲解。
机器视觉得几个广泛应用案例:
自动驾驶车辆(waymo,Tesla,Cruise)——一个自动驾驶的车辆需要识别出它前方的物体(和后方!),是一辆车,路标,行人或者是一只流浪的公鸡;
无人机——亚马逊想要利用无人机来为客户送货,那么无人机需要知道在他们前方的物体以便于他们不会撞上飞行中的鸟或者电线。无人机也被广泛应用于安全安防和军队侦查;
地图和卫星(mapbox,Here,Orbital Insight)——卫星拍摄图片的数量呈现出爆发性增长!这些数据可以用来确认台风中是否有幸存者,使地图内容更丰富甚至通过计算沃尔玛停车场的车辆来预测销售情况;
机器人——机器视觉用来构建可以识别并且从货架上取下某类商品的机器人手臂或者工业自动化甚至玩网球;
OCR/BFSI——对信用卡评级,贷款申请等文档自动转写或者转写其他的手写文档等;
医疗行业——在机器视觉协助的手术中,机器手臂需要识别特定的手术工具;
智能农业——有一位日本的研究员利用机器视觉帮助他父母的农场给黄瓜分类,他们发现ML在通过黄瓜尺寸,形状,颜色和其他必要参数的分类表现突出。
第一步首先是要收集数据,当你开始时,可以尝试一下几个很棒的免费或者付费数据集:
- Common Objects in Context (COCO)
- ImageNet
- Google’s Open Images
- KITTI
- The University of Edinburgh School of Informatics’ CVonline: Image Databases
- Yet Another Computer Vision Index To Datasets (YACVID)
- mldata.org
- CV datasets on GitHub
- ComputerVisionOnline.com
- UCI Machine Learning Repository
- Udacity Self driving car datasets
- Cityscapes Dataset
- Autonomous driving dataset by Comma.ai
- MNIST handwritten datasets
这些数据集对于学习机器视觉的新手而言是一个很好的开始。甚至对于一个不是很重要的项目,这些数据也足够来搭建一个简单的模型,但是对于很多公司型或者大型项目,显然不够。
要想提升你们CV模型的准确度,你需要用模型在现实中需要检测的数据类型来训练它。这些数据通常是很细致的,不同于我们通常可以从网上获得数据集。
有很多方法可以收集数据,比如你可以从网上爬取数据或者像谷歌那种巨头一样利用用户收集的数据或者从汽车摄像机中收集的数据,你甚至可以向别人购买数据集。
一旦你得到了数据,你就需要标注它们,你需要考虑2个问题
如何标注数据?
谁来标注数据
注意:本文中说的数据特指图片数据
选择图像标注工具
网上有很多可以免费试用的数据标注工具,然后选择一个正确的标注工具有时候不是那么简单,下面是几个选择时可以参考的因素:
搭建工具运行需要花费的时间和精力
标注准确度
标注速度
一些流行的图片标注工具(需要MIT许可)
Comma coloring——在Comma自动驾驶技术环境中帮助训练机器学习,比如提供给你一张车载摄像头的图片并且要求你把图片中的不同区域涂上不同的颜色,比如图片中的哪个区域是天空,哪个区域是道路,识别交通信号灯等等,这个工具是开源的。
Annotorious——可以在网页上的图片上标注比如画框并且注释内容。比如在一张图片中把狗框选出来并且注释这是一条狗。需要MIT认证,可以免费用于商业和非商业项目
LabelMe——帮助机器视觉研究建立图片数据库。你可以通过访问标注工具来增添这个数据集的内容
另外几个靠谱的开源标注工具:
- Alp’s Labeling Tools for Deep Learning
- RectLabel
- VGG Image Annotator (VIA)
- Szoter
- LEAR Image Annotation tool by Alexander Kläser
- Image Annotator Plugin for Drupal
- Demon Image Annotation Plugin for WordPress
- Landmarker.io , Sloth , vatic , ViPER-GT , Fiji , MediaTeam GTEditor ,LabelD and Imglab
如果您对训练数据采集和标注有需求的话,请访问我们的网站www.mindflow.com.cn或者联系email:contact@mindflow.com.cn获得更多信息,如果可以帮助到您,我们将十分高兴。
机器视觉中常用开源数据集和免费标注工具相关推荐
- 在基于图像的深度学习中如何做数据的自动标注以及自动标注的等级介绍
作者:Tobias Schaffrath Rosario 编译:ronghuaiyang 原文:在基于图像的深度学习中如何做数据的自动标注以及自动标注的等级介绍_ronghuaiyang的博客-CSD ...
- 在R、Python和Julia中常用的数据可视化技术
俗话说"一图胜千言".通过各种图片和图形化展示,我们可以更清晰地表达很多抽象概念.理论.数据模式或某些想法.在本章中,我们首先解释为什么应该关心数据可视化.然后,我们将讨论几种在R ...
- 重磅推荐!日立开源语义分割数据集标注工具Semantic Segmentation Editor
面向自动驾驶领域的2D图片与3D点云对象标注工具. (欢迎关注本站的"我爱计算机视觉"微信公众号,一个有价值有深度的公众号~) 日立汽车工业实验室(Hitachi Automoti ...
- 开发中常用的软件、插件、工具汇总(实时更新)
在开发中常用到的软件.插件.工具及其地址:欢迎大家补充!!! Android开发 JDK:jdk归档网页,包含所有版本jdk 下载地址:http://www.oracle.com/techne ...
- SLAM中常用的相机模型及标定工具
最近一段时间准备作多传感器的SLAM研究,第一步是要解决传感器间的联合标定.所要开展实验的机器人平台配置了相机.单线雷达和IMU,自然而然地,首先是要先确定各个传感器的内参数,然后再确定传感器之间的外 ...
- 开源!!!100 多个常用 API 数据接口免费分享!建议收藏!
点击上方"Java精选",选择"设为星标" 别问别人为什么,多问自己凭什么! 下方有惊喜留言必回,有问必答! 每天 08:15 更新文章,每天进步一点点... ...
- python npv 计算公式_Python numpy 中常用的数据运算
Numpy 精通面向数组编程和思维方式是成为Python科学计算大牛的一大关键步骤.--<利用Python进行数据分析> Numpy(Numerical Python)是Python科学计 ...
- java中常用的加密方法_java中常用的数据加密算法
[项目中第一次深入地了解到加密算法的使用,现第一阶段结束,将使用到的加密算法和大家分享一下:首先还是先给大家普及一下常用加密算法的基础知识基本的单向加密算法BASE6 以下为加密的工具类: impor ...
- sklearn中常用的数据预处理方法
常见的数据预处理方法,以下通过sklearn的preprocessing模块来介绍; 1. 标准化(Standardization or Mean Removal and Variance Scali ...
最新文章
- 使用坚果云同步SVN服务器数据
- X265源码解析1-Encode方法
- html中字体响应式怎么写,css字体单位之间的区分以及字体响应式实现_html/css_WEB-ITnose...
- 发布:NetBeans IDE 8.1 Beta
- MySQL 主从复制 复制过滤
- maven多模块项目,多web合并项目使用心得
- es数据无法写入,报错[FORBIDDEN/12/index read-only / allow delete (api)]
- BCB屏幕截图(抓图)程序-转
- Python:输出系统所有的PID
- 18.输入和输出函数
- 情感分析资源大全(语料、词典、词嵌入、代码)
- New:Spire.Office for Java 7.7.1 Not Crack
- flex 做的小相册+向上滚动字体
- POI获取文本单元格的数字变成科学计数法的处理方法
- oracle故障一例,Oracle 10g异机恢复后EM无法启动故障处理一例
- java基于微信小程序的电影院购票平台-计算机毕业设计
- android 6.0 Launcher3 去掉抽屉式,显示所有 app
- Unity3D显示中文
- 华为鸿蒙开源网址,华为鸿蒙开源
- Python之利用PyPDF2库实现对PDF的删除和合并
热门文章
- 移动阅读市场也需要“小而美”
- java对接移动物联网onenet平台实现接收设备上报数据命令下发
- 30.Android优化-APP启动白屏的解决办法
- 实现自己的大厂梦,毕业一年半拿遍所有大厂offer,怎么做到的?
- 怎么识别图片上的文字?看完这篇你就会了
- 一文搞懂百度强推的Redis天花板笔记,原来数据库是这样理解的
- JS学习第二周学习笔记
- 《乐高EV3机器人搭建与编程》一1.5 主控器和电池
- 【科普】1分钟帮你搞懂机械硬盘、固态硬盘、内存、cpu是什么?如何挑选?
- python时间重叠_python-pyspark-rdd中对象的时间重叠