Hadoop简介 4V特征和3个核心

2024-05-11 06:00:53

Hadoop 4V特征

volume(大量数据)：90%的数据是过去两年产生的
velocity(速度快)：数据产生速度快，时效性高
varity(多样化)：数据的来源和种类多样，数据种类包括结构化数据、半结构化数据、非结构化数据，表现为日志、音频、视频、图片，地理位置信息等
value(价值密度低)：单个数据意义不大，需要大量数据进行归纳总结出规则

固有特征
时效性：一段时间在某一时间段内产生的已知的数据，并且决策在哪些时间内具有价值的属性。
不可变性：已产生的数据不会改变，我们将大数据的变化视为新数据条目的产生，而不是现有条目的更新。

Hadoop 3大核心

Hadoop三个核心
分布式文件系统 HDFS—解决大数据的存储
分布式计算框架 Mapreduce—解决大数据计算
分布式资源管理系统 Yarn

Hadoop优点：
1.高扩展性，可伸缩：根据需要添加新节点，不需要改变现有的数据分布，也不需要更改作业和应用程序。
2.可靠性：能自动维护数据的多份复制，并且在任务失败后能自动地重新部署计算任务。当丢失一个节点时，资源管理器会将任务重发布到另一个空闲位置，可以在不中断地情况下继续处理。
3.成本低：Hadoop通过普通廉价地机器组成服务器集群来分发以及处理数据，以至于成本很低。
4.无共享架构：不同机器上的不同分块的数据处理互不干扰。
5.开源，社区活跃。

Hadoop简介 4V特征和3个核心相关推荐

hadoop使用mapreduce统计词频_深圳嘉华学校之Hadoop简介(什么是Map-Reduce-Mapreduce-about云开发)...
Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Reduce,分布式文件系统HDFS,以及分布式数据库Hbase,同时Hadoop的相关项目也很丰 ...
Hadoop简介(1):什么是Map/Reduce
看这篇文章请出去跑两圈,然后泡一壶茶,边喝茶,边看,看完你就对hadoop整体有所了解了. Hadoop简介 Hadoop就是一个实现了Google云计算系统的开源系统,包括并行计算模型Map/Red ...
Hadoop简介与分布式安装
Hadoop的基本概念和分布式安装: Hadoop 简介 Hadoop 是Apache Lucene创始人道格·卡丁(Doug Cutting)创建的,Lucene是一个应用广泛的文本搜索库,Hado ...
Hadoop简介和家族成员介绍
本文为博主原创,允许转载,但请声明原文地址:http://www.coselding.cn/article/2016/05/31/Hadoop简介和家族成员介绍/ 1. HDFS:分布式文件系统实现, ...
Hadoop简介和体系架构
目录 2．1 Hadoop简介 2．1．1 Hadoop由来 2．1．2 Hadoop发展历程 2．1．3 Hadoop生态系统 2．2 Hadoop的体系架构 2．2．1 分布式文件系统HDFS 2 ...
Hadoop简介和集群搭建
文章目录 Hadoop简介和集群搭建 Hadoop介绍 Hadoop的发行版本和三大公司 hadoop的架构安装Hadoop 第一步:上传编译后的apache hadoop包并解压第二步:修改配置 ...
“熊猫烧香”病毒简介及特征
"熊猫烧香"病毒简介及特征 "武汉男生",俗称"熊猫烧香",这是一个感染型的蠕虫病毒,它能感染系统中exe,com,pif,src,html ...
什么是Hadoop？大数据与Hadoop简介
要了解什么是Hadoop,我们必须首先了解与大数据和传统处理系统有关的问题.前进,我们将讨论什么是Hadoop,以及Hadoop如何解决与大数据相关的问题.我们还将研究CERN案例研究,以突出使用Ha ...
大数据的4v特征、数据预处理
一.大数据的4v特征大数据的4v特征主要包含规模性(Volume).多样性(Variety).高速性(Velocity).价值性(Value) 1.规模性(Volume) 大数据中的数据计量单位是P ...

最新文章

热门文章