Hadoop快速入门（一）

Hadoop快速入门（一）##

####几个概念：
#####大数据：无法在一定时间内用常规软件工具对其内容进行撞去、管理和处理的数据集合。
#####大数据技术：从各种各样类型的数据中，快速获得由价值信息的能力。
#####配套技术：大规模并行处理数据库（MPP），数据挖掘，分布式文件系统，分布式数据库，云计算平台，互联网和可扩展的存储系统。
Hadoop:以HDFS和mapreduce为核心。
#####Hadoop生态：

Hive,HBase,Pig,Sqoop,Flume,Zookeeper,Mahout,Spark,Storm,Shark,Phoenix,Tez,Ambari。

Hive:用于Hadoop的一个数据仓库系统，他提供了类似于SQL的查询语言
HBase:一种分布的，可伸缩的，大数据存储库，，支持随机、实时读/写访问
Pig:分析大数据集的一个平台
Sqoop:为高校传输批量数据而设计的一种工具，其用于Hadoop和结构化数据存储库如关系数据库之间的数据传输
Flume:一种分布式的、可靠的、可用的服务，其用于高效搜集，汇总，移动大量日志数据
Zookeeper:一种集中服务，其用于维护配置信息，命名，提供分布式同步，以及提供分组服务
Mahout:一种基于Hadoop及其学习和数据挖掘的分布式计算框架算法集，实现了多种MapReduce模式的数据挖掘算法
Spark:一个开源的数据分析集群计算框架，采用Scala语言实现，使用Scala作为应用框架
Storm:一个分布式的、容错的实时计算系统。属于流处理平台，多用于实时计算，并更新数据库。可对数据流做连续查询。还可以用于“分布式RPC”，以并行的方式运行大型的运算。
Shark:一个专为Spark打造的大规模数据仓库系统，兼容Hive。可以用100倍的速度执行Hive QL。
Phoenix:一个构建在HBase之上的一个SQL中间层，完全使用java编写，提供了一个客户端可嵌入的JDBC驱动。
Tez:一个基于YARN之上的DAG。拆分子过程，合并子过程。加快运算速度。
Ambari:一个供应、管理和监视Hadoop集群的开源框架，它提供一个直观的操作工具和一个健壮的Hadoop API，可以隐藏复杂的Hadoop操作，使集群操作大大简化。

####安装与配置
操作系统：CentOS6.464bitCentOS 6.4 64 bitCentOS6.464bit
虚拟机：VMware9.0VMware 9.0VMware9.0
Hadoop:2.X2.X2.X
JDK:1.71.71.7

安装过程：
1、配置VMware网络
2、安装操作系统，安装完成后，添加一个新用户hadoop，设置密码并授予其sudo权限。
3、设置静态ip（基于局域网内）：

1)修改/etc/sysconfig/network-scripts/ifcfg-eth0
2)修改/etc/sysconfig/network
3)修改DNS信息
4)关闭防火墙并修改其启动策略为不开机启动

4、安装JDK
5、配置ssh免登陆
6、安装Hadoop

下次讲部署细节

Hadoop快速入门（一）相关推荐

Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)
Hadoop快速入门--入门考试(伪分布式60+编码25+执行jar15) 目录一.伪分布式搭建(60分) 1.创建1台Linux虚拟机,并打开对应的网络连接(VMnet8)(5分) 2.通过xsh ...
Hadoop快速入门——第三章、MapReduce案例(字符统计)
Hadoop快速入门--第三章.MapReduce案例目录环境要求: 1.项目创建: 2.修改Maven 3.编码 4.本地文件测试 5.修改[Action]文件(修改测试文件路径) 6.导出ja ...
Hadoop快速入门——第四章、zookeeper安装
Hadoop快速入门--第四章.zookeeper安装压缩包下载地址:[https://download.csdn.net/download/feng8403000/85227883] 目录 1.上 ...
大数据技术之Hadoop(快速入门)
目录第一章 Hadoop概述 1.1 什么是Hadoop 1.2 Hadoop 产生背景 Hadoop之父:Doug cutting 1.3 Hadoop 三大发行版本 Hadoop 三大发行版 ...
【Hadoop快速入门】Hdfs、MapReduce、Yarn
1. Hahoop概述 1.1 Hodoop是什么 1) Hadoop是一个有Apache基金会所开发的分布式系统基础架构 2) 主要解决海量数据的存储和海量数据的分析计算问题 3) 广义上来说,Ha ...
4.2.Hadoop快速入门
python编程快速上手(持续更新中-) 推荐系统基础文章目录 python编程快速上手(持续更新中-) 推荐系统基础 1 HADOOP概述 1.1 什么是Hadoop Hadoop名字的由来 Ha ...
hadoop快速入门之DKH安装准备
2019独角兽企业重金招聘Python工程师标准>>> 前几天去参加了一个线下的聚会,参加聚会的基本都是从事互联网工作的.会上有人提到了区块链,从而引发了一场关于大数据方面的探讨.我 ...
Hadoop快速入门——第一章、认识Hadoop
Apache Hive 快速入门 (CentOS 7.3 + Hadoop-2.8 + Hive-2.1.1)
2019独角兽企业重金招聘Python工程师标准>>> 本文节选自<Netkiller Database 手札> 第 63 章 Apache Hive 目录 63.1. ...
150页书籍《PyTorch 深度学习快速入门指南》附PDF电子版
为什么说是极简教程,首先本书只涵盖了150页.内容比较精简,特别适合作为 PyTorch 深度学习的入门书籍.为什么这么说呢?因为很多时候,一份厚重的书籍往往会削弱我们学习的积极性,在学习一门新的语言 ...

Hadoop快速入门（一）

Hadoop快速入门（一）##

Hadoop快速入门（一）相关推荐

最新文章

热门文章