hadoop环境搭建笔记

一、配置Linux

（1）cat /etc/networks

（2）cat /etc/sysconfig/network

（3）vi /etc/udev/rules.d/70-persistent-net.rules

eth1 改为eth0

（4）vi /etc/sysconfig/network-scripts/ifcfg-eth0

HWADDR改为eth1的地址

HWADDR=00:0c:29:79:e6:ec

DNS1=网关地址

（5）vi /etc/sysconfig/selinux

#SELINUX=disabled

（6）加sudo权限

vi /etc/sudoers

beifeng ALL=(root)NOPASSWD:ALL

（7）关闭防火墙

centos 7：systemctl stop firewalld.service #停止systemctl disable firewalld.service #禁用之前的版本：service iptables stop #

停止chkconfig iptables off #禁用

chkconfig iptables off

service iptables status

二、安装jdk、maven、hadoop

chown beifeng:beifeng /opt/*

无密钥登陆ssh
ssh-keygen -t rsa
ssh-copy-id hostname02
ssh-copy-id hostname03
ssh-copy-id hostname04

三、配置伪分布式

1. 修改hadoop-evn.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_67

2. 修改yarn-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_67

3. 修改mapred-env.sh

export JAVA_HOME=/opt/modules/jdk1.7.0_67

4. 修改core-site.xml

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:9000</value></property><property><name>hadoop.tmp.dir</name><value>/opt/modules/hadoop-2.5.0/data/tmp</value></property><property><name>hadoop.http.staticuser.user</name><value>beifeng</value></property>
</configuration>

5. 修改hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.namenode.secondary.http-address</name><value>beifeng-hadoop-02:50090</value></property><property><name>dfs.permissions.enabled</name><value>false</value></property>
</configuration>

6. 修改slaves

beifeng-hadoop-02

7. 修改yarn-site.xml

<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.hostname</name><value>beifeng-hadoop-02</value></property><!-- 是否启用日志聚集功能 --><property><name>yarn.log-aggregation-enable</name><value>true</value></property><!-- 日志保留时间(单位为秒) --><property><name>yarn.log-aggregation.retain-seconds</name><value>106800</value></property>
</configuration>

8. 修改mapred-site.xml

<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property>
</configuration>

9. 启动服务

bin/hdfs namenode -format

sbin/hadoop-daemon.sh start namenode
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
sbin/hadoop-daemon.sh start secondarynamenode

sbin/hadoop-daemon.sh stop namenode
sbin/hadoop-daemon.sh stop datanode
sbin/yarn-daemon.sh stop resourcemanager
sbin/yarn-daemon.sh stop nodemanager
sbin/mr-jobhistory-daemon.sh stop historyserversbin/hadoop-daemon.sh stop secondarynamenode

10. 服务可视化

hdfs可视化界面： http://beifeng-hadoop-01:50070/dfshealth.html#tab-overview
yarn可视化界面： http://beifeng-hadoop-01:8088/cluster
历史服务器可视化界面：http://beifeng-hadoop-01:19888/secondarynamenode可视化界面 http://beifeng-hadoop-01:50090/status.html

转载于:https://www.cnblogs.com/yeahwell/p/5660434.html

hadoop环境搭建笔记相关推荐

大数据实训笔记1：hadoop环境搭建及单机模式
必备环境 VMware Centos 7 SwitchHosts!(可以不用) SecureCRT hadoop-3.1.3.tar jdk-8u212-linux-x64.tar hadoop环境搭 ...
《Node.js入门》Windows 7下Node.js Web开发环境搭建笔记
最近想尝试一下在IBM Bluemix上使用Node.js创建Web应用程序,所以需要在本地搭建Node.js Web的开发测试环境. 这里讲的是Windows下的搭建方法,使用CentOS 的小伙伴 ...
Hadoop环境搭建教学(二)完全分布式集群搭建；
Hadoop环境搭建教学(一)运行环境,集群规划介绍: 文章目录安装三台 CentOS 7系统一.X-Shell的准备工作二.基本工具安装三.关闭防火墙四.修改Host文件五.3.4.4 ...
Hadoop环境搭建教学(一)运行环境,集群规划介绍；
文章目录前言一.Hadoop的三种运行环境二.集群规划三.需要的基本软件安装下期见前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
Hadoop环境搭建(二)CentOS7的下载与安装
Hadoop环境搭建(一) VMware Workstation安装与网络配置 1. CentOS7的下载 https://wiki.centos.org/Download 2. CentOS7安 ...
[云炬python3玩转机器学习笔记] 2-7开发环境搭建笔记
开发环境搭建笔记
Samba平台搭建和用户自行修改密码环境搭建笔记
Samba 平台搭建和用户自行修改密码环境搭建笔记系统:CentOS release 6.5 (Final)x86_64 软件: samba #服务端 sam ...
简单易行的用windows系统虚拟苹果mac操作系统 mac下android环境搭建笔记(android studio)
作者:韩梦飞沙 QQ:313134555 ios模拟器电脑版中文版(iPadian)下载 - 『精品软件区』 - 吾爱破解论坛 - LCG - LSG |安卓破解|病毒分析|破解软件|www.52po ...
Storm DRPC环境搭建笔记
Storm DRPC环境搭建笔记 By Mickey.Pro 1. 安装系统 CentOS 6.3 64bit minimal http://www.osyunwei.com/archives/475 ...

hadoop环境搭建笔记

hadoop环境搭建笔记相关推荐

最新文章

热门文章