Hadoop入门基础教程 Hadoop之服务器基础环境搭建
本文以K-Master服务器基础环境配置为例分别演示用户配置、sudo权限配置、网路配置、关闭防火墙、安装JDK工具等。用户需参照以下步骤完成KVMSlave1~KVMSlave3服务器的基础环境配置。
开发环境
硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点)
软件环境:Java 1.7.0_45、Hadoop-1.2.1
1、安装环境
硬件环境:CentOS 6.5 服务器4台(一台为Master节点,三台为Slave节点)
软件环境:Java 1.7.0_45、hadoop-1.2.1
2、 用户配置
1)添加一个用户
[hadoop@K-Master hadoop]$ adduser hadoop #新建hadoop用户
[hadoop@K-Master hadoop]$ passwd hadoop #hadoop用户设置密码
2)建工作组
[hadoop@K-Master hadoop]$ groupadd hadoop #新建hadoop工作组
3)给已有的用户增加工作组
[hadoop@K-Master hadoop]$ usermod -G hadoop hadoop
2、 sudo权限配置
1)新建个用户组admin
[hadoop@K-Master hadoop]# groupadd admin
2)将已有用户添加到admin用户组
[hadoop@K-Master hadoop]# usermod -G admin,hadoop hadoop
3)赋予修改/etc/sudoers文件写权限
[hadoop@K-Master hadoop]# chmod u+w /etc/sudoers
4)编辑/etc/sudoers文件
[hadoop@K-Master hadoop]# vi /etc/sudoers
缺省只有一条配置:
root ALL=(ALL) ALL
在下边再加一条配置:
%admin ALL=(ALL) ALL
这样admin用户组就拥有了sudo权限,属于admin用户组的hadoop用户同样拥有了sudo权限。
5)编辑完成后降低权限
[hadoop@K-Master hadoop]$ chmod u-w /etc/sudoers
3、 网络配置
1)配置IP地址
详细配置信息如下所示:
[hadoop@K-Master hadoop]$ su hadoop #切换为hadoop用户
[hadoop@K-Master hadoop]$ sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR=06:8D:30:00:00:27
TYPE=Ethernet
BOOTPROTO=static
IPADDR=192.168.100.147
PREFIX=24
GATEWAY=192.168.100.1
DNS1=192.168.100.1
DEFROUTE=yes
IPV4_FAILURE_FATAL=yes
IPV6INIT=no
NAME=eth0
UUID=660a57a1-5edf-4cdd-b456-e7e1059aef11
ONBOOT=yes
LAST_CONNECT=1411901185
2)重启网络服务使网络设置生效
[hadoop@K-Master hadoop]$ sudo service network restart
Shutting down interface eth0: Device state: 3 (disconnected)[ OK ]
Shutting down loopback interface: [ OK ]
Bringing up loopback interface: [ OK ]
Bringing up interface eth0: Active connection state: activated
Active connection path: /org/freedesktop/NetworkManager/ActiveConnection/1[ OK ]
3)测试IP网络配置
通过ifconfig命令查看网络的ip地址,如下信息显示eth0无线网卡的IP地址为192.168.100.147,与上述我们配置的IP地址吻合,表明IP地址配置成功。
[hadoop@K-Master ~]$ ifconfig
eth0 Link encap:Ethernet HWaddr 06:8D:30:00:00:27inet addr:192.168.100.147 Bcast:192.168.100.255 Mask:255.255.255.0inet6 addr: fe80::48d:30ff:fe00:27/64 Scope:LinkUP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1RX packets:59099169 errors:0 dropped:0 overruns:0 frame:0TX packets:30049168 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000RX bytes:12477388443 (11.6 GiB) TX bytes:8811418526 (8.2 GiB)loLink encap:Local Loopbackinet addr:127.0.0.1 Mask:255.0.0.0inet6 addr: ::1/128 Scope:HostUP LOOPBACK RUNNING MTU:16436 Metric:1RX packets:2266013 errors:0 dropped:0 overruns:0 frame:0TX packets:2266013 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0RX bytes:666482169 (635.6 MiB) TX bytes:666482169 (635.6 MiB)
4)修改Host主机名
[hadoop@K-Master hadoop]$ sudo vi /etc/sysconfig/network
NETWORKING=yes
NETWORKING_IPV6=no
HOSTNAME=Master
[hadoop@K-Master hadoop]$ sudo vi /etc/hosts
127.0.0.1 localhost.localdomain
::1 hdirect30 hdirect30
192.168.100.201 K-Master
5)重启主机使得主机名生效
[hadoop@K-Master hadoop]$ sudo reboot
4、 关闭防火墙
在启动前关闭集群中所有机器的防火墙,不然会出现datanode开后又自动关闭。
1)查看防火墙状态
[hadoop@K-Master ~]$ sudo service iptables status
iptables: Firewall is not running.
2)关闭防火墙
[hadoop@K-Master hadoop]$ sudo service iptables stop
iptables: Setting chains to policy ACCEPT: filter [ OK ]
iptables: Flushing firewall rules: [ OK ]
iptables: Unloading modules: [ OK ]
3)永久关闭防火墙
[hadoop@K-Master hadoop]$ sudo chkconfig iptables off
4)关闭SELINUX
[hadoop@K-Master hadoop]$ sudo vi /etc/selinux/config
SELINUX=disabled
5、 安装JDK工具
1)解压
[hadoop@K-Master ~]$ scp hadoop@192.168.0.201:/home/hadoop/jdk-7u65-linux-x64.rpm .
[hadoop@K-Master ~]$ sudo rpm -ivh jdk-7u65-linux-x64.rpm
2)编辑”/etc/profile”文件,在后面添加Java的”JAVA_HOME”、”CLASSPATH”以及”PATH”内容。
[hadoop@K-Master ~]$ sudo vim /etc/profile
#JAVA
export JAVA_HOME=/usr/java/jdk1.7.0_65
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
#HADOOP
export HADOOP_HOME=/usr/hadoop-1.2.1
export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME_WARN_SUPPRESS=1
3)使配置文件生效
[hadoop@K-Master ~]$ source /etc/profile
http://www.linuxidc.com/Linux/2015-03/114669.htm
Hadoop入门基础教程 Hadoop之服务器基础环境搭建相关推荐
- C# Cad二次开发新手入门系列教程(一)开发环境搭建
目录 前言 开发需要做什么准备? 编写自己的第一个程序 前言 本课程主要针对刚接触Cad二次开发或者准备入门Cad二次开发的朋友,笔者是用的C#进行开发,在该系列教程内,笔者会带着大家从最基础的开发到 ...
- C# SuperSocket 手把手教你入门 傻瓜教程---1(服务器单向接收客户端发送数据)
C# SuperSocket 手把手教你入门 傻瓜教程系列教程 C# SuperSocket 手把手教你入门 傻瓜教程---1(服务器单向接收客户端发送数据) C# SuperSocket 手把手教你 ...
- ASP.NET Core 基础教程 - ASP.NET Core 基础教程 - 简单教程,简单编程
原文:ASP.NET Core 基础教程 - ASP.NET Core 基础教程 - 简单教程,简单编程 ASP.NET Core 是对 ASP.NET 有重大意义的一次重新设计.本章节我们将介绍 A ...
- 计算机应用基础李健,计算机应用基础教程 李健苹 计算机应用基础教程 第4章...
计算机应用基础教程 李健苹 计算机应用基础教程 第4章 (58页) 本资源提供全文预览,点击全文预览即可全文预览,如果喜欢文档就下载吧,查找使用更方便哦! 9.90 积分 主讲人:李健苹 2011.2 ...
- 根据iphone3/ios5开发基础教程-录制ios视频基础教程-视频下载专辑/反馈
根据iphone3/ios5开发基础教程-录制ios视频基础教程-视频下载专辑/反馈 原文地址:http://www.lwxshow.com/forum-2-1.html 大家觉得有必要下载高清版本的 ...
- 新编大学计算机基础教程txt,新编大学计算机基础教程新大学计算机基础教程.doc...
新编大学计算机基础教程新大学计算机基础教程 <新编大学计算机基础教程>教学设计设计人:hbx基本信息课时:75 课程类型:新编大学计算机基础教程学分:10后续课程:组网技术.操作系统课程设 ...
- Hadoop 2.x 完全分布式HA集群环境搭建
Hadoop 2.x 完全分布式HA集群环境搭建 目录 Hadoop 2.0 环境搭建 前提:环境准备 第一步:修改hadoop-env.sh配置文件,配置好JAVA_HOME环境变量 第二步:修改h ...
- 我的全栈之路-Python基础之Python概述与开发环境搭建
我的全栈之路-Python基础之Python概述与开发环境搭建 我的全栈之路 1.1 信息技术发展趋势 1.2 浅谈计算机系统架构 1.2.1 计算机系统架构概述 1.2.2 计算机硬件系统 1.2. ...
- CAA教程——CATIA二次开发环境搭建
CAA教程--CATIA二次开发环境搭建 前言 开发环境搭建所需资源 安装注意事项 安装完成后的一些操作 测试程序的运行效果 CATIA帮助文档的设置 VS里利用CATIA帮助文档的查询接口功能 编译 ...
- Flutter从入门到实战(一)之环境搭建(Mac版)
Flutter从入门到实战(一)之环境搭建(Mac版) Flutter官网镇楼 Flutter SDK 下载 镜像使用 运行 flutter doctor iOS环境配置 Android环境配置 下载 ...
最新文章
- 最小系统必须安装的组件(仅做参考)
- 2020互联网大厂薪资出炉!来源OfferShow爆料整理
- 1.2 C语言--函数与数组
- 【指标统计】删除抖动遥信
- nginx在linux reload报错,linux下安装nginx
- python数据框常用操作_转载:python数据框的操作
- leetcode738. 单调递增的数字
- _.uniq_在Ruby中使用Array.compact和Array.uniq方法从Array中移除元素
- android audit2allow工具使用步骤
- 为了防止程序重排序,慎用volatile
- [Leetcode]-- Valid Number
- jquery和css的区别是什么?
- mybatis 数组 添加_Mybatis配置文件中Insert 元素标签添加配置有哪些呢?
- vue案例todolist备忘录
- 什么是IMU(惯性传感器)
- 使用fail2ban解决暴力破解问题
- 使用 GOLANG 发送邮件
- kali启动时出现resuming from hibernation错误
- 手机停机照样可以免费无限量上网
- position: sticky的使用
热门文章
- 洛谷 3784(bzoj 4913) [SDOI2017]遗忘的集合——多项式求ln+MTT
- 马哥-Linux云计算架构班学习计划
- 新的log4j2.xml
- 日均数据量千万级,MySQL、TiDB 两种存储方案的落地对比
- [PYTHON] 核心编程笔记(14.Python执行环境)
- solaris10默认防火墙软件ipfilter
- 刚刚开通blog写下几段文字,以表意义
- VS2017 提示警告 IDE0006
- oc73--NSArray使用
- 【MySQL】【高可用】从masterha_master_switch工具简单分析MHA的切换逻辑