Hadoop——快速入门
大数据不得不提到最有用的利器Hadoop,本文最快的方式让你上手Hadoop,hadoop快速入门,并且有一个感性的认识,也可以当做步骤的快速索引,本文解决以下问题:
- 理解Hadoop是什么
- Hadoop用于做什么以及怎么用
- Hadoop使用整体的一个基本流程和结构
理解Hadoop是什么
HADOOP是apache旗下的一套开源软件平台
HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理
HADOOP的核心组件有
- HDFS(分布式文件系统)
- YARN(运算资源调度系统)
- MAPREDUCE(分布式运算编程框架)
- 广义上来说,HADOOP通常是指一个更广泛的概念——HADOOP生态圈
为什么会有Hadoop呢?
- HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,**遇到了严重的可扩展性问题——**如何解决数十亿网页的存储和索引问题。
- 2003年、2004年谷歌发表的两篇论文为该问题提供了可行的解决方案。
- 分布式文件系统(GFS),可用于处理海量网页的存储
- 分布式计算框架MAPREDUCE,可用于处理海量网页的索引计算问题。
- Nutch的开发人员完成了相应的开源实现HDFS 和MAPREDUCE,并从Nutch中剥离成为独立项目HADOOP,到2008年1月,HADOOP成为Apache顶级项目,迎来了它的快速发展期。
Hadoop用于做什么以及怎么用
Hadoop用于做什么
- 云计算是分布式计算、并行计算、网格计算、多核计算、网络存储、虚拟化、负载均衡等传统计算机技术和互联网技术融合发展的产物。借助IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)等业务模式,把强大的计算能力提供给终端用户。
- 现阶段,云计算的两大底层支撑技术为“虚拟化”和“大数据技术”
- 而HADOOP则是云计算的PaaS层的解决方案之一,并不等同于PaaS,更不等同于云计算本身。
Hadoop怎么用
上面提过其实HADOOP是一个很大的生态圈,既然是生态圈就有很多重要的组件:
- HDFS:分布式文件系统
- MAPREDUCE:分布式运算程序开发框架
- HIVE:基于大数据技术(文件系统+运算框架)的SQL数据仓库工具
- HBASE:基于HADOOP的分布式海量数据库
- ZOOKEEPER:分布式协调服务基础组件
- Mahout:基于mapreduce/spark/flink等分布式运算框架的机器学习算法库
- Oozie:工作流调度框架
- Sqoop:数据导入导出工具
- Flume:日志数据采集框架
(上述的使用方法以后会慢慢补上去,挖个坑)
Hadoop的集群搭建
说道Hadoop的集群搭建,就是将所需要的核心组件搭建起来,Hadoop集群包含两个重要集群:HDFS集群和YARN集群
HDFS集群:负责海量数据的存储,集群中的角色主要有NameNode / DataNode
YARN集群:负责海量数据运算时的资源调度,集群中的角色主要有 ResourceManager /NodeManager
注意:那mapreduce是什么呢?它其实是一个应用程序开发包,主要负责业务逻辑开发。
本集群搭建案例,以5节点为例进行搭建,角色分配如下:
> hdp-node-01 NameNode SecondaryNameNode(HDFS)>> hdp-node-02 ResourceManager (YARN)>> hdp-node-03 DataNode NodeManager (HDFS)>> hdp-node-04 DataNode NodeManager (HDFS)>> hdp-node-05 DataNode NodeManage r(HDFS)
部署图如下:
集群搭建案例
因为模拟可以使用模拟器,模拟五台linux服务器,细节忽略。
Hadoop 安装部署,保证每台的linux均有Hadoop的安装包:
规划安装目录: /home/hadoop/apps/hadoop-2.6.1
修改基本配置Haddop文件: $HADOOP_HOME/etc/hadoop/
相应的Hadoop最简配置如下:Hadoop-env.sh
# The java implementation to use. export JAVA_HOME=/home/hadoop/apps/jdk1.8
core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://hdp-node-01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/HADOOP/apps/hadoop-2.6.1/tmp</value></property> </configuration>
hdfs-site.xml
<configuration><property><name>dfs.namenode.name.dir</name><value>/home/hadoop/data/name</value></property><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/data/data</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.secondary.http.address</name><value>hdp-node-01:50090</value></property> </configuration>
mapred-site.xml
<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property> </configuration>
yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property> </configuration>
**注意:**五台linux配置应该相同,这里使用的hadoop2.6.1根据自己用的来修改
启动集群
在终端中执行:
#初始化HDFS
bin/hadoop namenode -format#启动HDFS
bin/start-dfs.sh#启动YARN
bin/start-yarn.sh
测试
1、上传文件到HDFS
从本地上传一个文本文件到hdfs的/wordcount/input目录下
终端代码:
[HADOOP@hdp-node-01 ~]$ HADOOP fs -mkdir -p /wordcount/input
[HADOOP@hdp-node-01 ~]$ HADOOP fs -put /home/HADOOP/somewords.txt /wordcount/input
2、运行一个mapreduce程序
在HADOOP安装目录下,运行一个示例mr程序:
cd $HADOOP_HOME/share/hadoop/mapreduce/
hadoop jar mapredcue-example-2.6.1.jar wordcount /wordcount/input /wordcount/output
注意:example是hadoop自带的程序用于测试是否搭建成功
Hadoop的数据处理流程
典型的BI系统流程图如下:
BI系统流程图
如图所示,虽然所用技术也许会有不同,但是流程基本如图所示:
数据采集:定制开发采集程序,或使用开源框架FLUME
数据预处理:定制开发mapreduce程序运行于hadoop集群
数据仓库技术:基于hadoop之上的Hive
数据导出:基于hadoop的sqoop数据导入导出工具
数据可视化:定制开发web程序或使用kettle等产品
整个过程的流程调度:hadoop生态圈中的oozie工具或其他类似开源产品
作者:慕久久
链接:https://www.jianshu.com/p/94844ec599bf
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
Hadoop——快速入门相关推荐
- Hadoop快速入门——入门考试(伪分布式60+编码25+执行jar15)
Hadoop快速入门--入门考试(伪分布式60+编码25+执行jar15) 目录 一.伪分布式搭建(60分) 1.创建1台Linux虚拟机,并打开对应的网络连接(VMnet8)(5分) 2.通过xsh ...
- Hadoop快速入门——第三章、MapReduce案例(字符统计)
Hadoop快速入门--第三章.MapReduce案例 目录 环境要求: 1.项目创建: 2.修改Maven 3.编码 4.本地文件测试 5.修改[Action]文件(修改测试文件路径) 6.导出ja ...
- Hadoop快速入门——第四章、zookeeper安装
Hadoop快速入门--第四章.zookeeper安装 压缩包下载地址:[https://download.csdn.net/download/feng8403000/85227883] 目录 1.上 ...
- 大数据技术之Hadoop(快速入门)
目录 第一章 Hadoop概述 1.1 什么是Hadoop 1.2 Hadoop 产生背景 Hadoop之父:Doug cutting 1.3 Hadoop 三大发行版本 Hadoop 三大发行版 ...
- 【Hadoop快速入门】Hdfs、MapReduce、Yarn
1. Hahoop概述 1.1 Hodoop是什么 1) Hadoop是一个有Apache基金会所开发的分布式系统基础架构 2) 主要解决海量数据的存储和海量数据的分析计算问题 3) 广义上来说,Ha ...
- 4.2.Hadoop快速入门
python编程快速上手(持续更新中-) 推荐系统基础 文章目录 python编程快速上手(持续更新中-) 推荐系统基础 1 HADOOP概述 1.1 什么是Hadoop Hadoop名字的由来 Ha ...
- hadoop快速入门之DKH安装准备
2019独角兽企业重金招聘Python工程师标准>>> 前几天去参加了一个线下的聚会,参加聚会的基本都是从事互联网工作的.会上有人提到了区块链,从而引发了一场关于大数据方面的探讨.我 ...
- Hadoop快速入门——第一章、认识Hadoop
- Apache Hive 快速入门 (CentOS 7.3 + Hadoop-2.8 + Hive-2.1.1)
2019独角兽企业重金招聘Python工程师标准>>> 本文节选自<Netkiller Database 手札> 第 63 章 Apache Hive 目录 63.1. ...
- 150页书籍《PyTorch 深度学习快速入门指南》附PDF电子版
为什么说是极简教程,首先本书只涵盖了150页.内容比较精简,特别适合作为 PyTorch 深度学习的入门书籍.为什么这么说呢?因为很多时候,一份厚重的书籍往往会削弱我们学习的积极性,在学习一门新的语言 ...
最新文章
- Python开发(基础):字符串
- 围棋棋盘上的波粒二象性
- 死磕18个Java8日期处理,工作必用!
- 新编C语言程序设计入门,新编C语言程序设计教程(本科)第3篇.pdf
- vscode 新建cpp文件_利用vscode搭建c
- PAT-BASIC-1039-到底买不买
- Jenkins主从节点配置
- “前端+应用”两大监控利器商业化首发 ARMS领跑APM市场
- lamp安全审计之php代码审计_paper,PHP实战开发及代码审计之PHP代码审计
- Hibernate Criteria示例教程
- js+面向对象相关笔记(六)
- 【算法笔记】B1058 选择题
- pandas数据导出Execl
- 《大型数据库技术》MySQL管理维护
- 【微软2014实习生及秋令营技术类职位在线測试】题目2 : K-th string
- 软件的接口设计图_软件产品研发流程
- 美国公布最易破解密码 专家称中国网民大量使用
- 大数据处理技术-头歌平台-答案
- np.sum和np.add.reduce
- 自定义id的几种思路分享以及税务单据编号实现