随着移动互联网和物联网的快速普及,全球数据总量呈指数级增长。据雷锋网统计,我们每天创造约2.3万亿GB数据。

过去,人们对海量数据无从下手。随着大数据与人工智能、云计算、物联网、区块链等前沿技术的紧密融合以及硬件基础设施的快速发展,这些新兴技术为数据增值提供了强有力保障,由此带来了巨大商业应用价值,并逐渐成为各国抢占下一步发展机遇的战略性技术。

最近,美国政府启动了大数据研究计划,致力于提升大数据分析算法和系统的效率;同时,日本对信息产业提出新的战略规划,将大数据作为重点发展的科技领域,着重强调数据采集与分析;近年来,我国大数据产业蓬勃发展。中国信通院在2018年发布的《大数据白皮书》进一步调动了全国各地发展大数据的积极性,各行各业开始利用大数据进行智能升级转型。

在大数据技术中,数据分析逐渐成为其核心技术,包括对数据处理的实时性成为工业界的主要需求。 当前,各种数据分析技术层出不穷。其中,最为引人关注的当属深度学习技术。

一、深度学习是最好的方法之一

深度学习仍是目前大数据处理与分析的最好方法之一。

深度学习擅于发掘多维数据中错综复杂的关系。基于大数据的深度学习算法在计算机视觉、自然语言处理以及信息检索等多个领域不断刷新着记录。

在这个数据为王的时代,深度学习中的监督/半监督学习与数据规模、数据质量等有很大关系,因此数据标注是在现实场景中提升模型性能的最直接有效的方法。

但由于传统的数据集数量/质量有限,在解决新的问题或是想要获得更好的效果时,往往需要进行额外的数据标注。 因此,对于数据要求不那么高的半监督/弱监督学习一直是视觉大数据处理中的热点问题。 同时,当使用某数据集训练了一个很好的模型,但在实际应用时,往往由于“领域鸿沟”(domain gap)的存在,模型性能大幅度下降,迁移学习是这一问题的常用解决思路。

此外,由于移动设备或物联网设备的存储和计算资源有限,无法像服务器一样轻松地运行训练好的模型,限制了深度学习技术在大数据领域的应用落地,针对此问题,目前有效的解决方案包括模型压缩、计算加速。

生成对抗网络Generative Adversarial Networks (GANs)的提出,为神经网络添加了一个新的分支。该网络结构能极大提高图像生成的质量,进一步推动了计算机视觉领域的发展。

近几年,计算机视觉正在向视频理解领域延伸,而视频比图像多了一维时序信息,如何有效建模并利用这一时序信息是处理这类问题的关键。

深度强化学习是大数据时代的另一研究热点,强化学习是主体通过与外部环境交互来进行学习的过程。目前已经取得了实质性的突破,2017年DeepMind公司的提出的AlphaGo Zero通过自我博弈的强化深度学习算法进行训练,经过3天的学习,以100:0的成绩超越了AlphaGo Lee的实力(以4:1战胜李世石的版本),21天后达到了AlphaGo Master的水平,并在40天内超过了所有之前的版本。

自2017年以来,AutoML(Automated machine learning)迅速兴起,AutoML试图将特征提取、模型优化、参数调节等重要步骤进行自动化地学习,使得机器学习模型无需人工干预即可被应用。但目前其在搜索效率、实际应用等方面有待进一步探索。

二、计算机视觉

计算机视觉是人工智能领域最为成熟的技术之一,其主旨在于利用计算机模拟人类视觉,是人工智能中的‘看’,进而为后续的应用目标提供判别信息。计算机视觉研究和应用非常广泛,近几年取得了快速的发展,其应用已经在政府、金融、互联网等行业市场率先落地。

此外,利用大数据可以对实体经济行业进行市场需求分析,优化生产流程、供应链与物流能源管理,以及提供智能客户服务等。虽然大数据已经服务于众多行业,但是在实际应用中还有很多局限,仍旧有很多问题没有解决。

近年来,国家对人工智能行业的大力支持为计算机视觉的发展提供了有利环境,极大促进了计算机视觉的商业化落地。目前我国共有100余家计算机视觉企业,涉猎身份认证、安防影像、医疗影像等众多领域。

目前CV公司比较集中的技术赛道有:人脸识别、自动驾驶、医疗图像等,目前商业化落地最快的仍是人脸识别及其业务相关的一些技术。

纵观计算机视觉发展,可以看到中国与西方国家的演进路线的不同。国际上前沿的技术主要集中在深度学习的基础研究层面,而中国的计算机视觉技术更倾向于产业落地。经过多年的沉淀,中国已经在人才、数据、场景和政策层面做了比较多的储备,为中国计算机视觉技术的发展提供了丰沃的土壤。

尤其是在应用方面。计算机视觉领域一定要通过落地应用才能更好推动学术的发展,而中国在这方面具有巨大的优势。

深度学习仍是视觉大数据领域的最好分析方法之一相关推荐

  1. 基于深度学习技术的电表大数据检测系统

    基于深度学习技术的电表大数据检测系统 人工智能技术与咨询 来源:< 人工智能与机器人研究> ,作者方向 关键词: 智能电表:数据分析:深度学习时序模型: 摘要: 随着我国电厂不断发展,我国 ...

  2. 大数据早报:百度开源移动端深度学习框架 中国联通成立大数据公司(9.26)

    数据早知道,上36dsj看早报! 来源36大数据,作者:奥兰多 『深度学习』百度开源移动端深度学习框架mobile-deep-learning 2017 年 9 月 25 日,百度在 GitHub 开 ...

  3. 基于深度学习和多源大数据的浮动共享单车流量预测(附共享单车轨迹数据集下载方式)...

    这篇文章相对比较简单,比较容易复现模型,有相关数据集的可以尝试做一下~ 1.文章信息 <Short-term FFBS demand prediction with multi-source d ...

  4. 小白入门深度学习 | 第五篇:数据不均衡的处理方法

    前言:

  5. 7月17日云栖精选夜读:深度 | 两个案例,掌握AI在大数据领域的前沿应用

    近日,全球技术学习技术大会首次在京举行,阿里巴巴数据技术及产品部资深算法专家杨红霞(鸿侠)作为特邀嘉宾出席并发表主题演讲.鸿侠从什么是数据新能源说起,接着介绍了阿里目前比较成功的两款数据产品,一个是是 ...

  6. 我用深度学习做个视觉AI微型处理器!

    Datawhale干货 作者:张强,Datawhale成员 讲多了算法,如何真正将算法应用到产品领域?本文将带你从0用深度学习打造一个视觉AI的微型处理器.文章含完整代码,知识点相对独立,欢迎点赞收藏 ...

  7. 开源的Blink和Spark3.0,谁将称霸大数据领域?

    来源 | 大数据技术与架构(import_bigdata) 作者 | 王知无,阿里巴巴高级大数据开发工程师,先后在京东.阿里等大型互联网公司从事大数据平台.实时计算和离线计算中间件和业务平台开发. 2 ...

  8. 大数据领域75个核心术语讲解!

    ↑↑↑关注后"星标"Datawhale 每日干货 & 每月组队学习,不错过 Datawhale干货 选自:DataConomy,来源:机器之心 近日,Ramesh Dont ...

  9. 深度学习在植物种类及病害识别领域的研究

    ** 深度学习在植物种类及病害识别领域的研究 ** 植物的基本特征包括叶片的形状特征和纹理特征,而对特征的描述范围又分 为全局与局部. 该方法的效果在很大程度上取决于人们的选择是否合理,但他们在选择特 ...

最新文章

  1. WP8.1学习系列(第五章)——中心控件Hub或透视控件Pivot交互UX
  2. python可以做什么工作好-会python语言能做什么工作
  3. 《BREW进阶与精通——3G移动增值业务的运营、定制与开发》连载之76——BREW中的安全性网络编程...
  4. 【引用】ActionContext和ServletActionContext介绍
  5. Android 使用intent.putExtra实现Activity之间的参数传递
  6. python读写文件错误_Python读取csv文件错误解决方法
  7. php workman 多线程,workerman如何多线程
  8. [react] react中setState的第二个参数作用是什么呢?
  9. 【Breadth-first Search 】103. Binary Tree Zigzag Level Order Traversal
  10. 争分夺秒:阿里实时大数据技术全力助战双11
  11. (9)<textarea>标签在mac环境下的问题
  12. springboot整合持久层技术(mysql驱动问题)
  13. SQLCE数据库的几点研究
  14. 第十二课:实验二 循环链表实验
  15. ASP.NET MVC 5 - 控制器
  16. c语言贪吃蛇游戏的关键技术,C语言的贪吃蛇游戏设计
  17. 百度网盘怎么登录百度账号?
  18. NOI2015 小园丁和老司机
  19. Pyton学习—循环语句
  20. 【矩阵篇】九宫图/n宫图生成——Merzirac法生成奇阶幻方 Python实现

热门文章

  1. numpy数组统计函数amin() amax()
  2. 《强化学习周刊》第13期:强化学习应用之金融
  3. 顶会ASPLOS 新成果解析:用“弹性异构”防御DNN加速器对抗攻击
  4. 纪念小柴昌俊 | 中微子天体物理学的诞生
  5. 韦世东:计划 35 岁「退休」的资深爬虫工程师
  6. 超越梦想,追求卓越——图灵五周年生日聚会圆满成功
  7. 如何通过DICOM的tag来判断3D图像的方向
  8. 福利 | 一文读懂系列文章精选集发布啦!
  9. 杀手级AI补代码工具问世,支持23种语言、5种主流编辑器!(附链接)
  10. 【TAMU】最新《时间序列分析》课程笔记,512页pdf