整个行业市场就是巨头引导的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服务层加上各中小企业在应用层不断向其他行业渗透的过程。市场在不断的被瓜分和细化。大数据/云计算/人工智能互相交织,趋于一体。一根针捅破天的机会越来越少,AI产品落地、垂直领域的创新、AI组织变革,将是接下来的热点。

AI(数据智能)技术的普及

技术的发展有自己的规律,在不同阶段表现出不同的状态,发展的关键问题也不同。

技术的兴起阶段,技术本身的进步是发展的关键。此时往往是科研机构、高校或大型企业内部研究院开始进行前沿技术的研究。比如中国科学院大数据实验室、阿里人工智能实验室、上海大数据联盟等。

当技术发生了重大的突破,如AI的关键性技术突破,加上大数据和云计算技术提供了充足的数据和计算能力,使得AI迅速获得人们的关注。15年Alpha Go惊艳地表现像一个火种,整个行业市场开始有了燎原之势,风投、科技媒体开始逐渐关注。

随着而来的是大量的技术社区、技术布道者(技术培训等)和AI创业公司。好像当时的淘金热,创业公司是淘金者,技术布道者是渡船人。这一阶段,AI技术人员最为抢手。这时AI领域的垂直培训公司,如七月在线也风生水起,数据科学竞赛的平台kaggle、阿里天池大数据、datacastle也吸引力众多的技术人才。

当技术普及到达一定程度,技术能否真正的落地,去解决实际的问题则成为关键。这时候我们需要一批有着敏锐的市场需求并可以将技术落地的AI产品经理,技术开始渗透到各行各业,垂直细分领域的应用开始快速发展。各个领域应用的如电商销售、广告推荐系统、智能医疗等产生了大量的初创AI公司,而其背后,投资人关键的重点开始从技术本身变为能否解决实际的行业痛点。

然后,当技术发展趋于成熟,技术会导致生产生活关系、团队组织的变化。此时,一个团队能够适应性的改进自身,成为关键。比如回过头去看互联网发展的过程,从关注技术本身,到互联网应用,到企业互联网转型。AI技术也一样,技术本身会给团队的管理带来新的挑战。

当前AI(数据&智能)技术正处于技术普及的中后期,重点是技术的应用。在团队组织方面,我们试图寻找到一种新的合适的形式,来应对变化。

AI 组织变革

此处我们给出了一种组织架构,来应对这种变化。

数据采集团队:

内部数据对企业来说更为关键,是实现数据驱动的基础。外部数据一种是对互联网和线下数据的采集,一种是通过数据交易市场来获取。内部数据的获取依赖企业内部的信息化,数据交易市场目前在国内已经趋于成熟,如数据堂、聚合数据、发源地等。企业可以根据自己需求决定团队的规模,团队技能包括网络爬虫、协议解析、数据清洗、数据对接等。

数据治理团队:

数据治理包括数据质量控制、元数据管理等。数据治理保证了数据可用、可控、可信。数据治理从本质上来讲是服务的角色,让数据加工过程透明化,让各个环节的数据使用者能够清楚的知道数据从何而来,经过了怎样的处理过程。比如一个人的消费明细是原始数据,处理够得到消费天统计表、月统计表,消费者行为爱好分析表。数据治理要做的就是掌握他们之间的来龙去脉,并展现给其他团队使用。

服务团队:

云计算的核心思想是“一切皆服务”,解放生产力,让企业可以专注在其最核心的领域内。AI赋能是核心部分。

DaaS 数据即服务: 以数据的采集与提供,为主要业务内容。相关技术包括ETL、流式数据处理、实时计算、异构数据解析、数据治理等。

TaaS 工具即服务: 将数据处理工具以服务的形式提供。相关服务包括清洗服务、转换服务、解析服务等。

AaaS 分析即服务: 以数据报告、可视化报表的形式提供服务。相关技术包括统计学、可视化技术等。

MaaS 挖掘即服务: 提供数据挖掘的核心能力服务。相关技术包括机器学习、深度学习、认知计算、模式识别等。

DAAS层的公司专注数据的交换,比如上文提到数据交易平台。一种是直接交换数据(数据堂),一种是以API的形式提供(聚合数据)。

TaaS专注于工具的服务,比如百度的预处理服务,将预处理的清洗、规约等过程封装成服务。该类服务类似给淘金者提供锤子、钉子等公司,让淘金者可以更方便的去挖金。

AaaS则专注于分析统计。比如阿里云数加提供的快速BI服务。传统情况下搭建一个销售数据分析系统,可能要一个月。而使用AaaS,只要一天。用户只要上传数据,数据处理逻辑基本是图像化操作,拖放控件,大大提高了效率。

MaaS指的是数据挖掘的核心能力,如阿里云提供的机器学习api、深度学习模型等,在这种情况下,如果要开发一个图片识别系统,只要了解其提供的接口即可,无需关心内部实现,存储和计算能力可以按需购买。这降低了技术门槛,使得AI更快的应用到其他行业。

应用团队:

从对数据的加工层次,包括检索查询、统计分析、业务模型、数据展现,需要深度结合领域知识。这里是更多中小创业者的机会所在。对初创企业来讲,数据的获取、数据的加工都可以使用云服务。而应用层,没有任何一家企业可以通吃。应用层是创新最频繁的地方,当然,也是竞争和死亡率最高的地方。

接下来,我们反观数据源、数据加工、数据治理、数据应用几个层面,来看下它们之间的发展逻辑。

数据智能的发展逻辑

数据源的三个层次:

1、纬度较少、数据量小

2、纬度丰富、数据量巨大(大数据)。

3、数据正确、及时、具有代表性 样本数据=总体数据(全数据)。

对业务目标而言,数据是否“全”才是关键。

全数据:足以能够全面反映事物形态的数据集合。

全数据下,样本数据=总体数据,数据足够正确、足够新、足够代表性。

当期,虽然大数据量很大、纬度很多、处理速度极快、能够全量处理,但是大数据并没有解决“全”的问题。

例如,“小而全的数据”:对于一个餐饮店的菜品销售分析。其店内产生的数据(客户订单、菜品评价),数据量每天的新增量仅在每天2千条左右,而且只有订单和评价数据,存储数据库也是传统关系式数据库。对“店内菜品分析而言”
拥有这些数据已经够“全”,解决其业务问题。而更“大”的其他数据,对其没有贡献。

再如,“大而不全的数据”:对于信贷问题,要发现不可信人员。往往的思路是,试图通过对用户的线上行为、消费情况、以往银行记录进行识别判断。而现实情况却是,该类人群会刻意的回避“线上行为”,如盗用他人银行卡、民间高利贷等“线下行为”,这些隐蔽行为无法获取到。

数据处理技术的三个层次:

1、检索、查询

2、统计、分类技术、异常数据分析、关联性分析

3、趋势预测

数据管理的三个层次:

1、保证数据可用

2、保证数据可控

3、保证数据可信

首要问题是有数据可用,这在数据匮乏的“小数据”时代最为重要。

“大数据”时代则要防止数据迅速膨胀带来的数据失控问题,避免成为一堆大而乱的数据垃圾。

“全数据”强调的是:不盲目追求“大”,而是从业务应用的角度,保证数据的正确、及时。

数据价值的三个层次:

1、展示事物发展过程

2、描述事物发展本质

3、预测事物发展趋势

对事物的发展过程加以数字化的展现,使用分类、关联等技术发现事物发展过程中的规律、模式。

对事物的发展趋势加以预测。

数据源层次越高、处理技术层次越高、数据管理层次越高,带来的数据价值越大。

最后

综上,整个行业市场就是巨头引导的IaaS/PaaS/DaaS/TaaS/AaaS/MaaS各服务层加上各中小企业在应用层不断向其他行业渗透的过程。市场在不断的被瓜分和细化。大数据/云计算/人工智能互相交织,趋于一体。

互联互通社区

互联互通社区专注于IT互联网交流与学习,关注公众号:互联互通社区,每日获取最新报告并附带专题内容辅助学习。方案打造与宣讲、架构设计与执行、技术攻坚与培训、数据中台等技术咨询与服务合作请+微信:hulianhutongshequ

数据智能的本质和技术体系要求相关推荐

  1. 【个推CTO谈数据智能】之本质及技术体系要求

    戳蓝字"CSDN云计算"关注我们哦! 作者|安森来源|个推技术学院 安森,个推CTO 毕业于浙江大学,现全面负责个推技术选型.研发创新.运维管理等工作,已带领团队开发出针对移动互联 ...

  2. 【个推CTO谈数据智能】之数据安全计算体系

    作者|个推CTO  安森 引言 本文是数据智能系列的第四篇.前三篇文章(<数据智能时代来临:本质及技术体系要求><多维度分析系统的选型方法> <我们理解的数据中台> ...

  3. 大数据智能算法及测评技术(二)

    3.分类算法及其测评 3.1 分类算法介绍 分类算法需要事先定义好类别,并对训练样本进行人工标记.分类算法通过有标记的训练样本,学习得到分类器,该分类器可对新样本自动分类,分类的流程下图所示.分类算法 ...

  4. 人工智能大势已去,认知智能已经来临,强人工智能未来可期!道翰天琼认知智能为您揭秘认知智能核心三大技术体系!

    认知智能三大技术体系分别是认知维度划分与识别,类脑结构功能机制的模型和万维图谱.三大技术体系是认知认知智能三大奠基理论(三体论,融智学,HNC)指导下而形成的核心技术体系.三大技术体系相辅相成,共同支 ...

  5. 认知智能三大技术体系简介介绍 类脑模型 认知维度 万维图谱 三大技术体系

    认知智能三大技术体系分别是认知维度划分与识别,类脑结构功能机制的模型和万维图谱.三大技术体系是认知认知智能三大奠基理论(三体论,融智学,HNC)指导下而形成的核心技术体系.三大技术体系相辅相成,共同支 ...

  6. 认知智能真的来了?且看道翰天琼认知智能三大技术体系!

    认知智能三大技术体系分别是认知维度划分与识别,类脑结构功能机制的模型和万维图谱.三大技术体系是认知认知智能三大奠基理论(三体论,融智学,HNC)指导下而形成的核心技术体系.三大技术体系相辅相成,共同支 ...

  7. 重磅!认知智能真的来了?且看道翰天琼认知智能三大技术体系!

    认知智能三大技术体系分别是认知维度划分与识别,类脑结构功能机制的模型和万维图谱.三大技术体系是认知认知智能三大奠基理论(三体论,融智学,HNC)指导下而形成的核心技术体系.三大技术体系相辅相成,共同支 ...

  8. 认知智能真的来了?且看道翰天琼认知智能三大技术体系-1!

    认知智能三大技术体系分别是认知维度划分与识别,类脑结构功能机制的模型和万维图谱.三大技术体系是认知认知智能三大奠基理论(三体论,融智学,HNC)指导下而形成的核心技术体系.三大技术体系相辅相成,共同支 ...

  9. 认知智能真的来了?且看道翰天琼认知智能三大技术体系!认知智能真的来了。

    认知智能三大技术体系分别是认知维度划分与识别,类脑结构功能机制的模型和万维图谱.三大技术体系是认知认知智能三大奠基理论(三体论,融智学,HNC)指导下而形成的核心技术体系.三大技术体系相辅相成,共同支 ...

最新文章

  1. Django开发实战
  2. 【网络安全】NFS服务安全加固
  3. Java黑皮书课后题第8章:*8.1(求矩阵中各列数字的和)使用下面的方法头编写一个方法,求矩阵中特定列的所有元素的和。编写一个测试程序,读取3*4矩阵,显示每列元素的和
  4. Python对Excel的读操作(完成)
  5. Spring Cloud Feign 熔断器支持
  6. INFINI GATEWAY 极限网关初体验 ElasticSearch 两个集群数据同步
  7. 阿里云SDK再升级,宣布支持C++语言
  8. 5分钟,带你了解不同类型的云计算!
  9. keepalived配置高可用集群
  10. android 360旋转动画,ANDROID——仿360手机卫士的旋转打分控件
  11. python中0o10_Python基础10—I/O编程
  12. Hbase与zookeeper
  13. 戴尔Any Cloud 助力企业快速实现云转型
  14. 【计算机语言】C语言小游戏——贪吃蛇
  15. 海康visionmaster-客户端安装步骤
  16. Meta Learning 入门:MAML 和 Reptile
  17. 2018年银行业网络金融黑产分析报告
  18. 各类型商户微信认证方法
  19. 百度搜索引擎算法大全
  20. draw.io二次开发改造过程

热门文章

  1. Vundle.vim管理插件的插件安装问题
  2. python+IDM实现快速批量化下载 (解决IDM批量化下载文件类型出现Error问题)
  3. 网页作业HTML+CSS+JS大作业——汽车租赁(47页) 加特效 web期末作业设计网页_汽车大学生网页设计作业成品
  4. java二分排序法原理_Java常见排序算法详解—— 二分插入排序
  5. Java学习之旅-04
  6. 面向对象编程 鸵鸟到底是不是鸟 企鹅是不是鸟?
  7. 关于友善之臂出的Nanopi R2S盒子的TTL乱码解决方法
  8. 史上最细gRPC(Go)入门教程(二)---gRPC初体验--hello world
  9. Elasticsearch——Settings设置
  10. 基于C++的医院管理系统设计与实现