Hadoop基础知识

Hadoop的文件系统主要来自google File System ：GFS

一、什么是大数据，本质？

1、数据的存储：分布式文件系统（分布式存储）----------------------->HDFS：Hadoop Distrisbuted File System

2、数据的计算：分布式计算

二、如何解决大数据的存储？-------------->分布式文件系统（HDFS，来源于CFS）

1、CFS:没有硬盘的，数据只能存在内存中

2、hadoop的安装模式：

举例子：

（*）本地模式：1台

（*）伪分布模式：1台

（*）全分布模式：3台

1、什么是RageRank（MapReduce的问题的来源）

（*）搜索排名

举例：

2、MapReduce基础编程模型

举例

BigTable------------------->大表-------------------->NoSQL数据库：HBase

1、关系型数据库（Oracle、Mysql，SQL Server）的特点

1、什么是关系型数据库？基于关系模型（基于二维模型）所提出的一种数据库

2、ER(Entity-Relationalship)模型：通过增加外键来减少数据冗余

举例：

2、什么是BigTable？把所有数据保存在一张表中，采用冗余------------------>好处：提高效率

1、因为有了bigtable的死刑：NoSQL：HBase数据库

2、HBase基于Hadoop的HDFS

3、描述HBase的表结构

举例：

Hadoop基础知识相关推荐

Hadoop之Hadoop基础知识面试复习
Hadoop之Hadoop基础知识常问面试题列举几个hadoop生态圈的组件并做简要描述. Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务,配置维护, ...
Hadoop之Hadoop基础知识
Hadoop之Hadoop基础知识复习目录 Hadoop是什么 Hadoop的优势 Hadoop组成大数据技术生态体系 1. Hadoop是什么 1)Hadoop是一个由Apache基金会所开发的 ...
Hadoop权威指南 _04_第I部分Hadoop基础知识_第2章关于MapReduce
第I部分Hadoop基础知识第2章关于MapReduce MapReduce是一种可用于数据处理的编程模型.该模型比较简单,但要想写出有用的程序却不太容易.Hadoop 可以运行各种语言版本的Map ...
Hadoop权威指南 _03_第I部分Hadoop基础知识_第1章初识Hadoop.
第I部分Hadoop基础知识第1章初识Hadoop. 比较喜欢这句极其形象的比喻. "在古时候,人们用牛来拉重物.当一头牛拉不动根圆木时,人们从来没有考虑过要想方设法培育出一种更强壮的牛. ...
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析
大数据入门第一课 Hadoop基础知识与电商网站日志数据分析本课程从Hadoop核心技术入手,以电商项目为依托,带领你从0基础开始上手,逐步掌握大数据核心技术(如:HDFS.YARN.MapRedu ...
#CSDN软件工程师能力认证学习精选# Hadoop基础知识学习
CSDN软件工程师能力认证是由CSDN制定并推出的一个能力认证标准,宗旨是让一流的技术人才凭真才实学进大厂拿高薪,同时为企业节约大量招聘与培养成本,使命是提升高校大学生的技术能力,为行业提供人才储备, ...
Hadoop学习笔记—15.HBase框架学习（基础知识篇）
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...
学习hadoop需要具备基础知识
学习hadoop需要具备基础知识首先整体上了解Hadoop,包括hadoop是什么,能够做什么,使用场景等,不需要考虑细节问题.在有了整体上的了解后,就开始准备系统地学习hadoop.建议:勿一味学 ...
基于Hadoop的数据仓库Hive 基础知识
转载自:namelessml 原文链接:[完]基于Hadoop的数据仓库Hive 基础知识 Hive是基于Hadoop的数据仓库工具,可对存储在HDFS上的文件中的数据集进行数据整理.特殊查询和分析处 ...

Hadoop基础知识

Hadoop基础知识相关推荐

最新文章

热门文章