002如何构建hadoop集群环境？

待我君临天下，结发与蕊可好。@夏瑾墨

实验室机器配置情况：
3台PowerEdge R730 Server
1台PowerEdge R410 Server
1台kvm
1台交换机

我们打算配置三个节点规模的集群，所以我们计划集群有1一个namenode

背景知识：本篇文章介绍如何在一个计算机集群上构建Hadoop系统。hadoop的主体用java语言写成，能够在任意一个安装了jvm(Java Virtual Machine)（Java虚拟机）的平台上运行。
第一部分：系统准备篇

集群规范：
1. 给服务器装linux系统：统一安装版本centos 6.5 64bits
2. 安装java环境：
查看系统安装的java版本：rpm -qa|grep jdk
rpm -qa | grep java
rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
yum -y remove java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686 或者
rpm -e –nodeps java-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i686
修改环境变量：vim /etc/profile,增加如下内容：
export JAVA_HOME=/usr/java/jdk1.8.0_25
export CLASSPATH=.:JAVAHOME/jre/lib/rt.jar:JAVA_HOME/jre/lib/rt.jar:JAVA_HOME/lib/dt.jar:
JAVAHOME/lib/tools.jarexportPATH=JAVA_HOME/lib/tools.jar export PATH=PATH:$JAVA_HOME/bin
使用java -version 查看java是否安装正确
安装java 输入指令：java -version 检查java是否被正确安装

[root@hadoop-02 ~]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)

3.SSH配置实现免密码登录节点
（关键是把datanode的authorized_keys追加到namenode的authorized_keys中）
hadoop控制脚本依赖ssh来执行针对整个集群的操作，因此为了支持无缝工作，建议安装ssh。安装完毕以后，就能够使得hadoop集群节点之间无需键入密码即可登录集群内的机器，进行集群配置，主要有以下几步：
a）在控制台运行ps –e | grep ssh，如果看到sshd则表示ssh-server已经启动了，跳过b），直接到c）进行操作；否则，进行b）操作；
b）运行sudo apt-get install openssh-server（服务器）、
sudo apt-get install openssh-client（客户端），进行安装。命令执行结束后，可以使用a）方法进行验证； c）生成RSA公私钥，实现节点之间无密码访问（使得集群的安装环境尽可能一致，可以减少很多配置步骤，因此我们都在root权限下面进行配置）： I）在master上使用root权限登陆系统，并进入/root/.ssh
目录，运行命令ssh-keygen –t rsa，敲回车到底（为操作方便我们选择不要密码），生成id_rsa，id_rsa.pub； II） master使用scp命令将公钥远程复制到salve1和slave2：
复制到slave1：scp -r id_rsa.pub root@slave1:/root/.ssh
复制到slave2：scp -r id_rsa.pub root@slave2:/root/.ssh III）在slave1和slave2下，将master
传过来的公钥添加到 authorized_keys：

cat id_rsa.pub >> authorized_keys IV）至此，master到slave1和slave2即实现了无密码登陆
第二部分：安装CDH（Cloudera Distribution Hadoop）管理端

背景知识：
1.Cloudera的CDH和Apache的Hadoop的区别
Hadoop遵从Apache开源协议，用户可以免费地任意使用和修改Hadoop，也正因此，市面上出现了很多Hadoop版本，其中比较出名的一是Cloudera公司的发行版，我们将该版本称为CDH（Cloudera Distribution Hadoop）。
2.CDH支持Yum/Apt包，Tar包，RPM包，Cloudera Manager四种方式安装,Apache hadoop只支持Tar包安装
3.CDH使用推荐的Yum/Apt包安装时，有以下几个好处：
a、联网安装、升级，非常方便 2、自动下载依赖软件包
b、Hadoop生态系统包自动匹配，不需要你寻找与当前Hadoop匹配的Hbase，Flume，Hive等软件，Yum/Apt会根据当前安装Hadoop版本自动寻找匹配版本的软件包，并保证兼容性。
c、自动创建相关目录并软链到合适的地方（如conf和logs等目录）；自动创建hdfs, mapred用户，hdfs用户是HDFS的最高权限用户，mapred用户则负责mapreduce执行过程中相关目录的权限

1.检查是否存在httpd服务：service httpd status
2.yum install httpd
1、通过yum源安装以httpd开头的命名的软件包
2、yum install 代表使用yum 源安装，前提需要配置好yum源；
是通配符，这里代表“所有”的意思，httpd就是以httpd开头的，例如httpd-devel、httpd-tools等都会被按装。如果想知道这条命令会按装哪些包，可以用yum search httpd*看下。
3.httpd常用命令如下，供参考：
启动命令：service httpd start
关闭命令：service httpd stop
重启命令：service httpd restart
查看状态：service httpd status
4.下载cm5.2.0-centos6.tar.gz的地址： http://archive-primary.cloudera.com/cm5/repo-as-tarball/5.2.0/

Cd /home/soft/cloudera （cm5.2.0-centos6.tar.gz存储的目录）

解压：tar -zxvf cm5.2.0-centos6.tar.gz
cd /var/www/html ,创建相关目录：mkdir -p cm5/redhat/6/x86_64
cd cm5/redhat/6/x86_64
mv /home/soft/cloudera/cm .
chmod -R ugo+rX cm
访问http:///cm5/redhat/6/x86_64/cm/，测试文件索引页面是否正常，如果页面空白或者为You don’t have permission to access，请检查准备工作中的防火墙和selinux是否关闭
5.

002如何构建hadoop集群环境？相关推荐

hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的. 准备工作: 1 首先在VMware中建立6台虚拟机(配置默认即可).这是 ...
Hadoop集群环境下网络架构的设计与优化
2019独角兽企业重金招聘Python工程师标准>>> 大数据时代,研究大数据的IT 厂商把研究重心放在优化大数据系统软件架构.优化业务逻辑.优化数据分析算法.优化节点性能等方向,而 ...
CentOS7搭建Hadoop集群环境
本文章为云计算课程实验总结. 前言 CentOS7虚拟机搭建hadoop集群,共3个节点:master.slave1.slave2 软件:java1.8 hadoop2.6.0 3台虚拟机都装有Cen ...
Hadoop集群环境配置搭建
一.简单介绍 Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene,这个搜索引擎在2001年成为Apache基金会的一个子项目,也是 ElasticSearch ...
hadoop集群环境搭建
参考文章: https://www.linuxidc.com/Linux/2016-02/128149.htm https://blog.csdn.net/circyo/article/details ...
Hadoop集群环境搭建之伪分布式搭建流程
关防火墙 1.首先关闭window防火墙 service iptables status 查看Linux 防火墙状态 service iptables stop 关闭Linux防火墙 chkconfi ...
大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
CDH版本Hadoop集群环境搭建详解
CDH版本Hadoop集群搭建 1.CDH版本hadoop重新编译 1.1 为什么要编译? 1.2 编译环境的准备 1.3 进行编译 2.CDH版本的zookeeper环境搭建 2.1 zookeep ...
VMware + Ubantu18.04 搭建Hadoop集群环境
文章目录前言 VMware克隆虚拟机(准备工作,克隆3台虚拟机,一台master,两台node) 1.创建Hadoop用户(在master,node1,node2执行) 2.更新apt下载源(在ma ...

002如何构建hadoop集群环境？

002如何构建hadoop集群环境？相关推荐

最新文章

热门文章