前两篇笔者分别为大家介绍了AI产品经理需要了解的概率论通识、线性代数通识、微积分通识,本篇文章中,笔者将继续为你介绍AI产品经理需要了解的数据标注,供大家一参考学习。

前几天参加京东的AI技术沙龙,在提问环节,有个小伙说:

“我是做销售的,刚才您讲的我都没听懂,我就知道,现在AI是风口,只要做AI相关的就能挣钱,您能说几个现在我们这类人能做到吗?能挣钱就行!”

台上技术出身的老师自然一时语塞。小伙说的没错,百团大战的时候确实一批刷单公司赚得盆满钵满。但是这些投机取巧注定不能长远。

让更多人卷进这次AI浪潮的可能就是数据标注了,All in AI的百度拥有大量的标注业务,大部分河南标注工厂用的是百度的标注工具,干的是百度的活。开始的时候标注的利润空间可以达到60%—70%。有些企业盲目扩张,一下子招了几百人;但是陆奇离开后,百度需求减少。准确率又普遍提高至95%-96%,活难干了。这些工厂只会百度的标注工具,很难接别家的业务,因此死了一批。

现在来看标注行业是一个苦行业,“如果你和谁有仇,就劝他干标注吧。”这是标注圈有名的段子。干标注就像将水倒进一个水桶里,每拉一个框就是添一碗水。目前,谁也不知道还能添多久,只有水溢出来时,才知道。

数据是AI公司的必需品。数据对于AI模型的重要性尤为重要,AI建模没有门槛,数据才是门槛。现阶段的人工智能是简单的认知智能。分类器的构造是个数学问题,就是由数据堆起来的。或者说深度学习本质上是个数学问题,是由大量的样本空间数据反向构造分类器的系数空间的过程。

数据标注模型

数据标注业务的配置是一个复杂的数学模型。比如,有些任务需要串并联的工作流,并联的工作流是多人协同的工作。串联的工作流是后一个结果是基于前一个结果进行处理的,串并联的工作流需要平台来实现业务工作流的配置。比如一些NLP型的文本标注作业,需要多个人来标,最后N选一或者投票。串并联配置涉及到底层数据流的分发等。或者说更像是一个流水线作业流程。

不断地用标注后的数据去训练模型,不断调整模型参数,得到指标数值更高的模型。

数据的质量直接会影响到模型的质量,因此数据标注流程设计和监督纠错就显得异常重要。

一般来说,数据标注部分可以有三个角色:

  1. 数据标注员:标注员负责标记数据。(文本、图像、视频)
  2. 数据审核员:审核员负责审核被标记数据的质量。(抽检)
  3. 标注管理员:管理人员、发放任务、跟进流程。

只有在数据被审核员审核通过后,这批数据才能入库使用。

一般众包数据标记流程

  1. 任务分配:一般数据分配由后台自动分发,根据用户选择标注类型每次分发几条内容,标注完成后再次分发。
  2. 复核入库:一般一条任务会分配给大于三个人的基数人员完成,根据少数服从多数原则确定该条数据的最终标签。
  3. 质量验收:一般会根据用户标注总数量和入库数量计算该用户的标注质量,和计算有效标注数量,质量高的和质量低的薪酬计算方法会有差别,以此来淘汰不能完成高质量标注的人员。

数据标注类型

图像标注-线标注

根据需求标注检测对象相对应的线型位置,例如:车道线。

图像标注-边框标注

标注检测对象相对应的区域,例如:汽车/行人等各种物体。

图像标注-3D边框标注

将图像中待检测物体以立体形式标注,例如汽车检测。

图像标注-语义分隔

根据检测区域不同,将图像标注为不同的像素,例如来自汽车拍摄的图像。

图像标注-多边形标注

根据需求标注检测对象的形状,例如:标注图像中的汽车轮廓(示例图)或标记污损边界。

图像标注-点标注

根据需求标注检测对象参考点的像素坐标,或者图像中的关键点标记,如人脸。

图像标注-3D点云标注

在3D空间中,标注点云数据中指定的检测对象,如汽车、行车道等。

视频标注-跟踪标注

在视频或者连续的图像中跟踪标注检测对象,形成有ID关联的运动轨迹。

文本标注-中英文语音转写与校对

英文语音转中文文本,或中文文本转英文语音。

文本标注

实体命名,标注文本中的实体。

语音标注-客服语音标注

外呼机器人进行外呼记录语音标注呼叫成功或者失败,从而训练话术。

标注流程

  1. 需求确认:对标注任务需求确认,标注数据集准备完成,规范标注需求,指定标注模型。
  2. 人员筛选:确定标注人员及人员角色
  3. 人员培训:针对不同角色培训标注规范和标注标准
  4. 开始试标:先标注少量数据,试用标注数据,调整标注流程,使得效率最优。
  5. 正式标注:完成整体标注任务。导出数据。

总结

快速、高效的进行数据标注,是机器学习和深度学习的基础,现在一些标注工具通过深度学习模型和主动学习技术,通过NLP模型来提高标注效率,集数据标注、数据管理、模型训练和模型服务于一体,使数据标注更加轻松、更高效。离AI最近的重复复杂的工作,是首先会被机器取代的。

#相关阅读#

《AI产品经理需要了解的概率论通识:4个概念3个问题》

《AI产品经理需要了解的线性代数通识》

《AI产品经理需要了解的微积分通识》

作者:老张,宜信集团保险事业部智能保险产品负责人,运营军师联盟创始人之一,《运营实战手册》作者之一。

本文由 @老张 原创发布于人人都是产品经理。未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。

数据产品经理修炼手册_AI产品经理之数据标注相关推荐

  1. 数据产品经理修炼手册_产品经理技能点修炼之路(附薪资)

    ​ 产品这个2010年才彻底脱胎的岗位,未来会成为社会的主流.因为产品经理对于用户需求的抽丝剥茧.对市场的快速响应和洞察,对数据的灵活运用,是每个行业的核心技能.尤其在5G.大数据.万物互联的时代到来 ...

  2. 数据产品经理修炼手册pdf_【尼读书】数据产品经理修炼手册(附思维导图)

    前言:进入一个行业,除了要多在工作中实践和思考之外,还需要多读书.这样能够站在一个更高的角度去看问题,往往会对问题有更全面的掌握和新的认知.在[尼读书]这个栏目中,尼同学通过自己读书后的理解和整理与大 ...

  3. 数据产品经理修炼手册_数据产品经理需要了解的大数据平台架构

    了解大数据平台的基础架构有助于我们清楚数据是怎么流转与处理的,在每一层的结构中数据是以什么形式存储的,当我们听到工程师们谈论到这些内容时,不至于一无所知. 本文内容偏基础,适合像作为入门了解. 文不如 ...

  4. 谈谈AI的ToB市场,我的新书《B端产品经理修炼手册》正式出版

    2020年是特殊的一年,得益于这次疫情,在2月份有一个大长假,当时被封锁在东北老家的小出租屋内,于是就起笔开始写这本书,其实也是在心理早就有构思的,差不多用了十来天的时间完成了第一版.名字想了好久,最 ...

  5. 读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY4

    日期:2022年7月24日 内容:第四章数据仓库理论与应用(p77-p104) 4.1 了解大数据基础Hadoop 一.Hadoop及三驾马车 01.什么是hadoop? Hadoop是一个分布式系统 ...

  6. 数据产品经理修炼手册(从零基础到大数据产品实践)

    一.初识数据产品经理 大数据4V特性 ①体量巨大(Volume)②处理速度快(Velocity)③类型多种多样(Variety)④价值大(Value) 数据产品分类 ①企业内部使用的产品,如BI数据分 ...

  7. 读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY1

    学习内容及时间2022.06.01: 第一章[初识数据产品经理](p1-p24) 1.1为什么要有数据产品经理 1.1.1大数据行业现状: {什么是大数据?}: 1.目前没有一个统一准确的定义,因为不 ...

  8. 【读书笔记】《数据产品经理修炼手册》——从零基础到大数据产品实践

    内容简介 摘抄语录 我理解的数据产品是可以发挥数据价值去辅助用户做更优决策的一种产品形式.它在用户的决策和行动过程中,可以提供更多的分析展现和数据洞察,让数据更直观.高效地驱动业务. "If ...

  9. 读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY5

    内容:第5章 大数据分析平台实践 时间:2022年8月7日 5.1 大数据分析平台的前世今生 5.1.1 大数据分析平台构建的背景         构建一个大数据分析平台,结合多个业务系统,从中抽取海 ...

最新文章

  1. 【首创】完美解决scrollview与menu的兼容问题
  2. 4 计数器verilog与Systemverilog编码
  3. 跳跃游戏Ⅱ(C语言)
  4. 如何下载无水印的短视频(python版)
  5. 【SDOI2015】星际战争(网络流)
  6. 鸿蒙系统支持列表,华为鸿蒙系统支持的手机型号一览【最新】
  7. 用微信小游戏实现龙舟大战-打粽子
  8. Redisson3.10 RCacheMap踩坑记录
  9. 转自stormzhang的一些博文
  10. AOC 27G3Z 评测
  11. Docker学习(一):基础理论基础操作
  12. 判断一个数是否为素数(调用函数)
  13. ZYNQ上无DDR加载应用
  14. 如何切换不同的python环境
  15. 一篇值得收藏的ML数据预处理原理与实践文章
  16. php返回当前字符串把所有敏感词变红,PHP 实现敏感词 / 停止词 过滤(附敏感词库)...
  17. 区块链 - 什么是区块链?这是我见过的最通俗易懂的解释
  18. 微信订阅号关联服务号,通过获取共同unionid,来获取用户信息(关联账号)
  19. win10自动修复重启,无法开机
  20. 继续教育-电商美工主图和海报制作 试题及答案

热门文章

  1. 信息系统项目管理--计算题笔记
  2. Part-Ⅰ3. 稳态等效电路建模/损耗/效率(三)
  3. Understanding OpenStack Authentication: Keyston...
  4. 分享15款为jQuery Mobile定制的插件
  5. 关于程序员学习的一些想法
  6. 美国诚实签经验——不要插队
  7. STM32-独立模式单通道ADC采集
  8. android 2.2(froyo)源码下载
  9. 海龟交易法则 | 稳定性并不等于低风险!
  10. 拼图游戏 玩法介绍及其代码实现(有意思的JS 一)