大讲台浅谈大数据与Hadoop之间的关系
在现如今，随着面对当前企业级用户对于自建数据中心兴趣的不断扩大，以及大数据正在以惊人的速度增长几乎触及各行各业，而大数据是一种新兴的数据挖掘技术，它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。但是很多人对大数据存在误解，下面就来缕一缕大数据与Hadoop之间的关系。
我们都听过这个预测：到2020年，电子数据存储量将在2009年的基础上增加44倍，达到35万亿GB。根据IDC数据显示，截止到2010年，这个数字已经达到了120万PB，或1.2ZB。如果把所有这些数据都存入DVD光盘，光盘高度将等同于从地球到月球的一个来回也就是大约480,000英里。
走进大数据，一种新兴的数据挖掘技术，它正在让数据处理和分析变得更便宜更快速。大数据技术一旦进入超级计算时代，很快便可应用于普通企业，在遍地开花的过程中，它将改变许多行业业务经营的模式。在计算机世界里，大数据被定义为一种使用非传统的数据过滤工具，对大量有序或无序数据集合进行的挖掘过程，它包括但不仅限于分布式计算(Hadoop)。
大数据已经站在了数据存储宣传的风口浪尖，也存在着大量不确定因素，这点上非常像“云”。我们请教了一些分析人士和大数据爱好者，请他们解释一下大数据究竟是什么，以及它对于未来数据存储的意义。
大数据走进历史舞台
适用于企业的大数据已经出现，这在部分程度上要归功于计算能耗的降低以及系统已具备执行多重处理的能力这样一个事实。而且随着主存储器成本的不断下降，和过去相比，公司可以将更多的数据存到存储器中。并且，将多台计算机连到服务器集群也变得更容易了。这三个变化加在一起成就了大数据，IDC数据库管理分析师CarlOlofson如是说。
大数据技术还没有在有大型数据仓库的公司中得到广泛普及。IDC认为，想让大数据技术得到认可，首先技术本身一定要足够便宜，然后，必须满足IBM称之为3V标准中的2V，即：类型(variety)，量(volume)和速度(velocity)。
对于大数据是什么以及大数据能干什么存在很多误会。下面就是有关大数据的三个误解：
1、关系数据库无法大幅增容，因此不能被认为是大数据技术(不对)
2、无需考虑工作负载或具体使用情况，Hadoop或以此类推的任何MapReduce都是大数据的最佳选择。(也不对)
3、图解式管理系统时代已经结束。图解的发展只会成为大数据应用的拦路虎。(可笑的错误)
大数据与开源的关系：
“很多人认为Hadoop和大数据基本上是一个意思。这是错误的，”Olofson说。并解释道：Teradata,MySQL和“智能聚合技术”的某些安装启用都用不到Hadoop，但它们也可以被认为是大数据。
Hadoop是一种用于大数据的应用程序，因为它是建立在MapReduce基础上的，所以引起了极大的关注。(MapReduce是一种用于超级计算的普通方法，之后经过了主要由Google资助的一个项目的优化，因此被简化并变得考究了。)Hadoop是几个紧密关联的Apache项目组成的混合体的主要安装启用程序，其中包括MapReduce环境中的HBase数据库。
大讲台浅谈大数据与Hadoop之间的关系相关推荐
- 浅谈三层架构、MVC之间的关系
什么是三层架构? 各个层的作用 实体层的作用 什么是MVC? 概念 职能 设计模式 三层架构.MVC之间的关系 关系示意图 三层的优缺点 MVC的优缺点 什么是三层架构? 三层架构(3-tier ar ...
- 浅谈“理论数学与应用数学之间的关系”
理论数学真正要回答的问题就是:你所说的这个"东西",它"存在"吗? 就好比,我们去一个水库,这个水库有各种自身的条件,如水深,水的成分及比例,水库实际体积,水温 ...
- 大数据与Hadoop之间是什么关系
广义上讲 大数据是时代发展和技术进步的产物.Hadoop只是一种处理大数据的技术手段. "大数据"概念在1980年由维克托·迈尔-舍恩伯格及肯尼斯·库克耶 在<第三次浪潮&g ...
- 浅谈大数据的标签管理
最近参与了一个大数据的项目,是涉及标签管理方面的内容,使我这个初涉入大数据领域的人获益匪浅. 标签,也可以叫做Tag,最早出现于2005年(注1),随着Web2.0的Blog应用被广泛使用开来.标签也 ...
- 张晓波：浅谈大数据应用的知与行|V课堂第82期
2017年8月26日,<中国大数据应用蓝皮书>的发布引起了大数据领域的政产学界领导.顶尖学者的强烈关注.在全球化的新阶段,面对互联的新世界,大数据如何不断创造新模式.新生态和新时代? 第8 ...
- 浅谈大数据：如何成为大数据企业？
文章讲的是 浅谈大数据:如何成为大数据企业, 1.什么叫大数据? "大数据"是"数据化"趋势下的必然产物!数据化最核心的理念是:"一切都被记录,一切都 ...
- 大数据审计的发展_浅谈大数据时代下审计工作的发展方向
浅谈大数据时代下审计工作的发展方向 李寒梅 [摘 要] [ 摘 要 ] 随着信息化水平不断提升,企业的审计工作需要处理海量的数 据,而利用常规软件难以对海量数据进行处理,这就需要应用大数据技术.审 计 ...
- 大数据与Hadoop有什么关系？大数据Hadoop入门简介
学习着数据科学与大数据技术专业(简称大数据)的我们,对于"大数据"这个词是再熟悉不过了,而每当我们越去了解大数据就越发现有个词也会一直被提及那就是--Hadoop 那Hadoop与 ...
- 浅谈导航数据中POI搜索技术原理
浅谈导航数据中POI搜索技术原理之一 王健 导航技术的应用已经成为现在生活中重要组成部分,为我们的生活提供了极大的便利.基本都有这样生活的体验,搜索自己位置附近的银行网点.餐馆.那么这些POI是如何快 ...
最新文章
- 用JDBC写一个学生管理系统（添加、删除、修改、查询学生信息）
- java sql sum函数的使用方法_SQL常用汇总函数用法说明
- 校园导游系统c语言代码,GitHub - iamywang/Campus-Guide-System: 校园导游系统
- python rbf神经网络_原创，基于径向基函数(RBF)神经网络RBF网络的举例应用！
- 学习CSS 不错网址
- android视频教程
- vue 横向菜单滚动定位_使用vue组件+iscroll实现一个横向菜单，不能正确滑动
- Windows平台下搭建Git服务器
- ta-lib依赖安装问题
- 计算机联锁系统硬件结构,计算机联锁系统各部硬件.ppt
- 2022年兽药行业发展前景
- android 渠道 代码重复,Android Studio多渠道打包(示例代码)
- json数组的遍历（获取属性名和属性值）
- 基于Python-OpenCV的图片覆盖技术——即把一个图片P到另一个图片上
- qq屏幕识图如何一次复制所有文字
- MySQL数据库引擎及区别
- 听说这款数学课件制作工具双十一也搞事？
- 校招选择题汇总【图形推理(2)】含答案解析
- shell 文本处理利器awk命令
- 数据分析的求职前景，你关心的问题都在这！