大数据计算引擎击穿万古长夜
构成世界的3个要素是【物质】、【能量】和【信息】
而【信息】要素是到20世纪才正真爆发出来，即：信息时代
进入“信息时代”，信息所占比重越来越大，一切都变的“智慧”起来。
一些新的名词开始出现：无纸化、信息高速公路、虚拟世界等
全世界每时每刻都在产生信息，传递信息，存储信息和消费信息，信息呈指数级开始了【爆炸】
信息本质上就是【数据】，信息爆炸本质上就是数据爆炸，随着数据的爆炸式井喷，人们开始探索“数据治理”的技术，即：如何更好的管理数据
数据的池子——任意遨游，但恨天太低
以mysql、oracle为代表的关系型数据库，本质上就是一个【数据的池子】，无论他们进行了如何“不可思意”的迭代升级，他们能管理的数据规模本质上还是没有跳脱池子的范围；数据量与日剧增，一个池子装不下，就在开一个池子装，如此反复，如万古长夜…
数据的海洋——天高海阔，但望洋兴叹：
每一个“数据库”就是一个数据的池子，不管他是关系型，还是非关系型（非关系本质上只是一个容量更大，取水更快的池子），数据的池子是一个个“孤岛”，无法全部互通也无法同时操作所有的池子。
有没有什么办法，可以将所有的池子汇聚起来（至少是：想汇聚多少就汇聚多少），将池子聚成湖泊，将湖泊聚成海洋后还能快速的从亿万万份水中，舀出我想要的那一瓢水？
创世闪电，开天辟地：
谷歌三架马车【GFS、MapReduce、BigTable】的出现让“畅游数据海洋”成为可能。
GFS解决海量数据的存储问题
MapReduce解决海量数据的计算问题
BigTable解决海量数据的查询问题
用一张图直观的展示这样一个开天辟地的过程：
正式谷歌三架马车的出现，击穿了万古长夜，开启了基于大数据的智能时代。
随后海的核心也经历了一轮轮的技术迭代：
谷歌三驾马车 -> hadoop -> spark
即：大数据技术生态圈的核心，到目前共经历了3轮更替
讲了那么多，数据的海洋聚焦到现实工程中，到底是个啥东西呢？？？
其实就是【计算引擎】！！！
而引擎的内核其实就是大数据技术生态圈的核心，即：谷歌三驾马车 、hadoop 、spark
图解：
说明：
上图共用两个应用，一个【计算引擎】，一个【对接应用】，而【计算引擎】就是数据的海洋；两个应用通过中间件——ES搜索引擎，关联在一起构成一个逻辑整体，从而对外提供最终价值！！！
大数据计算引擎击穿万古长夜相关推荐
- Apache Flink 为什么能够成为新一代大数据计算引擎？
众所周知,Apache Flink(以下简称 Flink)最早诞生于欧洲,2014 年由其创始团队捐赠给 Apache 基金会.如同其他诞生之初的项目,它新鲜,它开源,它适应了快速转的世界中更重视的速 ...
- 上：Spark VS Flink – 下一代大数据计算引擎之争，谁主沉浮？
作者简介 王海涛,曾经在微软的 SQL Server和大数据平台组工作多年.带领团队建立了微软对内的 Spark 服务,主打 Spark Streaming.去年加入阿里实时计算部门,参与改进阿里基于 ...
- 轻量级大数据计算引擎esProc SPL,Hadoop Spark太重
前言 背景:随着大数据时代的来临,数据量不断增长,传统小机上跑数据库的模式扩容困难且成本高昂,难以支撑业务发展. 应对之法:很多用户开始转向分布式计算路线,用多台廉价的PC服务器组成集群来完成大数据计 ...
- 大数据计算引擎之Flink Flink CEP复杂事件编程
原文地址:大数据计算引擎之Flink Flink CEP复杂事件编程 复杂事件编程(CEP)是一种基于流处理的技术,将系统数据看作不同类型的事件,通过分析事件之间的关系,建立不同的时事件系序列库,并利 ...
- Spark 凭什么成为最火的大数据计算引擎？
这年代,做数据的,没人不知道 Spark 是什么吧.作为最火的大数据计算引擎,现在基本上是各互联网大厂的标配了. 比如,字节跳动基于 Spark 构建的数据仓库,服务了几乎所有的产品线,包括抖音.今日 ...
- 大数据（三）大数据计算引擎
文章目录 说明 分享 大数据计算引擎 批处理 MapReduce tez 流批处理 Flink spark 总结 说明 本博客每周五更新一次. 介绍过大数据平台的搭建.应用和存储,本期分享下大数据计算 ...
- spark大数据计算引擎原理深剖（优缺点）-spark简介
用spark,你仅仅只是调用spark的API肯定是很low的. 今天来讲讲spark的原理,并且会针对部分源码进行讲解,如有不同意见请联系本人交流探讨. 目前大数据生态主要部分是Hadoop软件框架 ...
- 揭秘阿里云EB级大数据计算引擎MaxCompute
日前,全球权威咨询与服务机构Forrester发布了<The Forrester WaveTM: Cloud Data Warehouse, Q4 2018>报告.这是Forrester ...
- 大数据计算引擎：impala对比hive
目录 Impala与Hive的异同 数据存储 元数据 SQL解释处理 执行计划: 数据流: 内存使用: 调度: 容错: 适用面: Impala相对于Hive所使用的优化技术 Impala的优缺点 Im ...
最新文章
- P2114 [NOI2014]起床困难综合症
- 使用HttpOnly提升Cookie安全性
- 建议转变编程时的思维习惯改为：忽略细节关扰，直指问题核心，追寻问题关键。...
- use metadataApi in apex
- VTK：几何对象之Cube
- mysql修改文件名_SQL语句实现附加数据库,可以改数据库物理文件名
- Easyui Datagrid的Rownumber行号显示问题
- Property ‘id‘ not found on type java.lang.String问题解决
- 2018-2019-20175203 实验二 《Java面向对象程序设计》
- 动态规划 --- 13.1 Triangle ---- 相邻路径最小和 -- 图解
- c语言的按位取反运算符
- 腾讯微博开放平台OAuth1.0授权完整流程（C#）
- 树莓派2研究之：交叉编译小度WIFI驱动，让小派支持小度WIFI
- 象棋人机对弈程序的思想
- 常用数据库URL地址的写法
- 渗透工具SharpXDecrypt：Xshell全版本凭证一键恢复工具，针对Xshell全版本在本地保存的密码进行解密
- padavan mysql密码_newifi mini 刷 不死Breed 及 Padavan 教程
- java : 实现微信网页授权，超详细！
- hdu5238 calculator (线段树+crt)
- 支付宝wap支付配置应用公钥/应用私钥