不管是学习技术还是开发产品,分析和理解这个大数据产业版图都十分必要。版图细节不做赘述,我们重点从学习的角度来看DT(Datatechnology)技术泛型下包括那些核心技术,各技术领域之间是什么样的逻辑关系,这是学习大数据首先要搞清楚的问题:

(1)机器学习(machinelearning):首先我们说说机器学习,为什么先说它,因为机器学习是大数据处理承上启下的关键技术,机器学习往上是深度学习、人工智能,机器学习往下是数据挖掘和统计学习。

机器学习属于计算机和统计学交叉学科,核心目标是通过函数映射、数据训练、最优化求解、模型评估等一系列算法实现让计算机拥有对数据进行自动分类和预测的功能,机器学习领域包括很多种类的智能处理算法,分类、聚类、回归、相关分析等每类下面都有很多算法进行支撑,如SVM,神经网络,Logistic回归,决策树、EM、HMM、贝叶斯网络、随机森林、LDA等,无论是网络排名的十大算法还是二十大算法,都只能说是冰山一角,随着深度学习核心技术的突破性发展,机器学习算法得以高速扩张;总之大数据处理要智能化,机器学习是核心的核心,深度学习、数据挖掘、商业智能、人工智能,大数据等概念的核心技术就是机器学习,机器学习用于图像处理和识别就是机器视觉,机器学习用于模拟人类语言就是自然语言处理,机器视觉和自然语言处理也是支撑人工智能的核心技术,机器学习用于通用的数据分析就是数据挖掘。深度学习(deeplearning)是机器学习里面现在比较火的一个子领域,属于原来人工神经网络算法的一系列变种,由于在大数据条件下图像,语音识别等领域的学习效果显著,有望成为人工智能取得突破的关键性技术,所以各大研究机构和IT巨头们都对其投入了极大的关注。

(2)数据挖掘(datamining),数据挖掘可以说是机器学习的一个超集,是一个较为宽泛的概念,类似于采矿,要从大量矿石里面挖出宝石,从海量数据里面挖掘有价值有规律的信息同理。数据挖掘核心技术来自于机器学习领域,如深度学习是机器学习中一类比较火的算法,当然也可以用于数据挖掘。

还有传统的商业智能(BI)领域也包括数据挖掘,OLAP多维数据分析可以做挖掘分析,甚至Excel基本的统计分析也可以做挖掘。关键是你的技术能否真正挖掘出有用的信息,然后这些信息可以指导决策。数据挖掘的提法比机器学习要早,应用范围要广,数据挖掘和机器学习是大数据分析的核心技术,互为支撑,为大数据处理提供相关模型和算法,而模型和算法是大数据处理的关键,探索式交互式分析、可视化分析、数据的采集存储和管理等都较少用到学习模型。

(3)人工智能(artificalintelligence),AI和大数据是相互促进的关系,一方面,AI基础理论技术的发展为大数据机器学习和数据挖掘提供了更丰富的模型和算法,如近几年的深度学习一系列技术(强化学习、对抗学习等)和方法;另一方面,大数据为AI的发展提供了新的动力和燃料,数据规模大了之后,传统机器学习算法面临挑战,要做并行化、要加速要改进。AI的终极目标是机器智能化拟人化,机器能完成和人一样的工作,人脑仅凭几十瓦的功率,能够处理种种复杂的问题,怎样看都是很神奇的事情。

虽然机器的计算能力比人类强很多,但人类的理解能力,感性的推断,记忆和幻想,心理学等方面的功能,机器是难以比肩的,所以机器要拟人化很难单从技术角度把人工智能讲清楚。人工智能与机器学习的关系,两者的相当一部分技术、算法都是重合的,深度学习在计算机视觉和棋牌走步等领域取得了巨大的成功,比如谷歌自动识别一只猫,谷歌的AlpaGo还击败了人类顶级的专业围棋手等。但深度学习在现阶段还不能实现类脑计算,最多达到仿生层面,情感,记忆,认知,经验等人类独有能力机器在短期难以达到。

(4)其它大数据处理基础技术,大数据基础技术包括计算机科学相关如编程、云计算、分布式计算、系统架构设计等方向,还有机器学习的理论基础包括如算法、数据结构、概率论、代数、矩阵分析、统计学习、特征工程等方面;商业分析与理解如领域知识管理、产品设计、可视化等技术;数据管理如数据采集、数据预处理、数据库、数据仓库、信息检索、多维分析、分布式存储等技术。这些理论与技术是为大数据的基础管理、机器学习和应用决策等多个方面服务的。

从数据管理、计算机科学基础理论技术、数据分析、商业理解决策与设计几个方面进行了数据科学相关技术的梳理,其中计算机科学基础理论方法与数据分析两个板块的学习内容是最多的,也是最重要的。现阶段的大数据产品和服务多是在数据管理版块,分析板块和业务决策板块的对接是数据科学和大数据产业后续发展的关键突破点。
  人工智能、大数据、云计算和物联网的未来发展值得重视,均为前沿产业,多智时代专注于人工智能和大数据的入门和科谱,在此为你推荐几篇优质好文:
大数据、云计算与人工智能(AI)关系
http://www.duozhishidai.com/article-13488-1.html
人工智能、机器学习、数据挖掘以及数据分析有什么联系?
http://www.duozhishidai.com/article-13135-1.html
阐释互联网与云计算、大数据、物联网、工业4.0的关系
http://www.duozhishidai.com/article-9630-1.html


多智时代-人工智能和大数据学习入门网站|人工智能、大数据、物联网、云计算的学习交流网站

机器学习、数据挖掘、人工智能和其他大数据基础技术,之间的业务逻辑关系?相关推荐

  1. 看这里→大数据工程技术人员系列课程—《大数据工程技术人员-大数据基础技术》正式上线!...

    点击蓝字,关注我们 行业背景 据中国商业联合会数据分析专业委员会统计,未来中国基础性数据分析人才缺口将达到1400万.2025年前大数据人才需求仍将保持30%-40%的增速,需求总量将会在2000万人 ...

  2. 大数据基础技术和应用

    大数据概述 数据的表现形式: 线下数据信息化:数据库.文字记录.照片-- 互联网-移动互联网:网页数据.用户行为记录.数字图像-- 传感器:设备监控.智能家居.摄像头-- 大数据的4V特征: 大量化( ...

  3. 机器学习与大数据基础知识(一)

    大数据时代究竟改变了什么? 改变的是思维 增加了数据重要性:数据资源--->数据资产(增值) 改变了方法论:基于知识的理论完美主义--->基于数据的历史经验主义 改变了数据分析: 统计学( ...

  4. hawk大数据基础知识总结(1)

    一.大数据概述 1.1大数据的概念 大数据一共具有三个特征:(1)全样而非抽样:(2)效率而非精确:(3)相关而非因果. (1)在过去由于缺乏获取全体样本的手段,人们发明了"随机调研数据&q ...

  5. 大数据基础知识(上)

    大数据基础知识:技巧与概念 什么是大数据 数量多 流转快 种类多 大数据需要具备全部三个特征吗? 如何使用大数据 了解消费者大数据 了解企业大数据 了解科学研究大数据 大数据与数据科学 大数据与小数据 ...

  6. 学完大数据基础,可以按照我写的顺序学下去

    首先给大家介绍什么叫大数据,大数据最早是在2006年谷歌提出来的,百度给他的定义为巨量数据集合,辅相成在今天大数据技术任然随着互联网的发展,更加迅速的成长,小到个人,企业,达到国家安全,大数据的作用可 ...

  7. 刚刚!国产大数据基础软件第一股星环科技成功上市,开盘大涨超52%

    作者 | 冬梅 10 月 18 日,"国产大数据基础软件第一股"星环信息科技(上海)股份有限公司(简称"星环科技")正式登陆科创板,股票代号为星环科技(6880 ...

  8. 大数据基础——Hadoop大数据平台搭建

    文章目录 前言 Hadoop大数据平台搭建 一.Hadoop原理和功能介绍 二.Hadoop安装部署 三.Hadoop常用操作 总结 前言 分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...

  9. 大数据技术原理与应用 第一篇 大数据基础

    目录 第一章 大数据概述 一. 大数据时代 1.1 三次信息化浪潮 1.2 信息科技发展 1.3 数据产生方式的变革 1.4 大数据的影响 二. 大数据的概念 2.1 大数据的特征 2.2 大数据关键 ...

最新文章

  1. android画布设置最外层,Android自定义View高级(三)-Canvas之画布操作
  2. html渐变效果做网页,CSS实现文本渐变效果
  3. mongodb数据库淘汰_mongodb 内存数据淘汰策略
  4. 面试这些公司是在浪费时间
  5. 创业者的十大“必杀技”
  6. ubuntu16.04 安装composer 以及 laravel
  7. python爬取学籍_仝卓学籍造假微博道歉,用Python抓取微博的评论看看群众都说什么...
  8. 移动网络设备睁开均盘绕Linux睁开
  9. php7 编译安装,添加扩展 pdo /usr/local/php/bin/phpize 发现没有 configure
  10. 49. NAT 服务器
  11. 【18.40%】【codeforces 631D】Messenger
  12. OpenCV中寻找轮廓函数cvFindContours的使用说明以及序列cvSeq的用法说明
  13. 安装Windows系统时进行磁盘格式化及分区等操作
  14. 【引用】43种名车标志及来历
  15. 根据前序和中序推出后序
  16. 2021SC@SDUSC HBase(十三)项目代码分析——WAL写入
  17. swift4.0 方法监听Selector写法总结
  18. 国赛优秀论文研读--2019C
  19. 虚拟主机服务器能干嘛用,虚拟主机能拿来干什么
  20. 这几行 C++ 代码,真的骚!

热门文章

  1. GPS速度和航向计算
  2. JavaScript小案例程序保存(完整代码+效果展示)
  3. Linux进阶(3)--RAID简介
  4. 采集天眼查数据(根据已有的公司名称采集)
  5. MySQL主从互换策略(主down机切换从为和恢复过程中的倒增量备份)
  6. 机器学习 (十二)让你轻松理解K-means 聚类算法
  7. 友盟第三方登录精简版QQ遇到的坑
  8. office outlook配置hotmail
  9. 关于飞思卡尔S12系列单片机SPI通信MODRR配置
  10. 穷物格理之常用数据结构寻找