hadoop集群基本配置

软件说明

hadoop集群使用cloudera hadoop-2.5.0-cdh5.3.6
java-JDK使用jdk-8u171-linux-x64
Hive使用hive-0.13.1-cdh5.3.6
Mysql使用MySQL-server-5.6.24-1.el6.x86_64
ZooKeeper使用zookeeper-3.4.5-cdh5.3.6
kafka 使用kafka_2.9.2-0.8.1
slf4j使用slf4j-nop-1.7.6.jar
flume使用flume-ng-1.5.0-cdh5.3.6
hbase使用hbase-1.3.1-bin.tar.gz
相关下载地址
CDH http://archive.cloudera.com/cdh5/cdh/5/
JDK http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Mysql https://dev.mysql.com/downloads/mysql/
1. 给通常用户添加sudo权限
配置sudo权限
[root@localhost ~]# visudo
也就是修改/etc/sudoers 文件
root ALL=(ALL) ALL
用户名被管理主机的地址 = （可使用的身份）授权命令（绝对路径）
#%wheel ALL=(ALL) ALL %
用户名 ALL=(ALL) ALL
组名被管理主机的地址 = （可使用的身份）授权命令（绝对路径)

r w x
4 2 1

chmod 777 1.txt
chmod 654 1.txt
6当前用户
chmod u+x 当前用户执行权限
chmod g+r 当前组有读
chmod o+w 表示其他用户写
2. 关闭selinux
SELINUX
vi /etc/selinux/config
SELINUX=disabled

3. 安装JDK(集群中都需要)
将jdk-8u171-linux-x64.rpm上传到服务器上
安装JDK：rpm -ivh jdk-8u171-linux-x64.rpm
配置jdk相关的环境变量
vi ~/.bashrc_profile

执行 vi ~/.bashrc
vi ~/.bash_profile
vi /etc/profile
export JAVA_HOME=/usr/java/latest
export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
source ~/.bashrc_profile
测试jdk安装是否成功：java -version
rm -f /etc/udev/rules.d/70-persistent-net.rules
重启服务器命令reboot
关闭服务器命令shutdown
5. NTP时间同步

NTP简介：
NTP是网络时间协议(Network Time Protocol)，它是用来同步网络中各个计算机的时间的协议。
在计算机的世界里，时间非常地重要
例如：对于火箭发射这种科研活动，对时间的统一性和准确性要求就非常地高，是按照A这台计算机的时间，还是按照B这台计算机的时间？
NTP就是用来解决这个问题的，NTP（Network Time Protocol，网络时间协议）是用来使网络中的各个计算机时间同步的一种协议。
它的用途是把计算机的时钟同步到世界协调时UTC，其精度在局域网内可达0.1ms，在互联网上绝大多数的地方其精度可以达到1-50ms。
它可以使计算机对其服务器或时钟源（如石英钟，GPS等等）进行时间同步，它可以提供高精准度的时间校正，而且可以使用加密确认的方式来防止病毒的协议攻击。环境：
系统：CentOS 7NTP Server服务器IP：192.168.93.126NTP Client客户端IP：192.168.93.1271、搭建NTP服务器
1.1、查看服务器是否安装ntp，系统默认安装ntpdate；
[root@localhost ~]# rpm -qa |grep ntp
ntpdate-4.2.6p5-28.el7.centos.x86_64
ntp-4.2.6p5-28.el7.centos.x86_64
1.2、安装ntp，ntpdate已经系统默认安装过了
[root@localhost ~]# yum install -y ntp
1.3、修改ntp配置文件
复制代码
[root@localhost ~]# vim /etc/ntp.conf把配置文件下面四行注释掉：
server 0.cn.pool.ntp.org iburst
server 1.cn.pool.ntp.org iburst
server 2.cn.pool.ntp.org iburst
server 3.cn.pool.ntp.org iburst
然后在下面添加这几行：
server 0.cn.pool.ntp.org iburst
server 1.cn.pool.ntp.org iburst
server 2.cn.pool.ntp.org iburst
server 3.cn.pool.ntp.org iburst
复制代码
1.4、启动ntp服务，并开机自启动
[root@localhost ~]# systemctl start ntpd
[root@localhost ~]# systemctl enable ntpd
1.5、查询ntp是否同步
[root@localhost ~]# ntpq -premote           refid      st t when poll reach   delay   offset  jitter
==============================================================================
*119.28.206.193  100.122.36.196   2 u  128  128  377   19.711   -0.468   5.363
1.6、开启防火墙ntp默认端口udp123
[root@localhost ~]# firewall-cmd --permanent --zone=public --add-port=123/udp
success
[root@localhost ~]# firewall-cmd --reload
success2、NTP客户端配置
安装的NTP跟上面的步骤一样2.1、修改ntp配置文件，将上面的NTP服务器作为客户端同步NTP时间服务器
复制代码
[root@localhost ~]# vim /etc/ntp.conf
#配置允许NTP Server时间服务器主动修改本机的时间
restrict 192.168.0.15 nomodify notrap noquery
#注释掉其他时间服务器
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
#配置时间服务器为本地搭建的NTP Server服务器
server 192.168.0.15
复制代码
2.2、与NTP server服务器同步一下时间：
[root@localhost ~]# ntpdate -u 192.168.0.15
2.3、查看ntp同步状态
能看到已经成功同步，要记得开启ntpd这个服务器

设置可以直接通过主机名访问

设置主机名相互访问
vi /etc/hosts
ip 主机名域名
示例
192.168.93.126 master
192.168.93.127 slave2
192.168.93.128 slave3

使用主机名ping master 是否可以测试通过

windows 下使用主机名连接Linux系统
C:\Windows\System32\drivers\etc\hosts 使用以上相同的配置方式

配置集群ssh免密码登录
A. 生成本机的公钥，过程中不断敲回车即可，ssh-keygen命令默认会将公钥放在/root[当前操作用户的]/.ssh目录下
ssh-keygen -t rsa

B. 将公钥复制为authorized_keys文件，此时使用ssh连接本机就不需要输入密码了
cd /root[当前操作用户的]/.ssh
cp id_rsa.pub authorized_keys

C. 接着配置三台机器互相之间的ssh免密码登录
使用ssh-copy-id -i master命令将本机的公钥拷贝到指定机器的authorized_keys文件中（方便好用）
测试登陆其他主机
ssh 用户名@主机名

hadoop集群基本配置相关推荐

【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
《Hadoop集群与安全》一2.1　在Hadoop集群中配置操作系统
本节书摘来自华章出版社<Hadoop集群与安全>一书中的第2章,第2.1节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区& ...
VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置
(主要参照http://os.51cto.com/art/201211/363116.htm) 一.概述其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境 ...
Hadoop的学习前奏（二）——Hadoop集群的配置
前言: Hadoop集群的配置即完全分布式Hadoop配置. 笔者的环境: Linux: CentOS 6.6(Final) x64 JDK: java version "1.7 ...
Hadoop集群垃圾箱配置 | fs.trash.interval
启用Hadoop集群垃圾箱配置配置参数: <property><name>fs.trash.interval</name><value>10</ ...
Hadoop集群的配置
一..创建虚拟机 (10条消息) CentOS 7 虚拟机的搭建_仄言2997的博客-CSDN博客 1. 创建虚拟机 2. 安装 CentOS 二.虚拟机网络设置 (10条消息) 虚拟机网络配置_仄言 ...
Hadoop集群环境配置搭建
一.简单介绍 Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene,这个搜索引擎在2001年成为Apache基金会的一个子项目,也是 ElasticSearch ...
[转载]hadoop集群默认配置和常用配置
转载自 http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html, 向原作者致谢. 我基于最新版hadoop, 稍作了修改. 获 ...
CentOS7.0基于hadoop集群安装配置Hive
前言安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可(需要再有的namenode上安装),可以不在datanode节点的 ...

hadoop集群基本配置

hadoop集群基本配置相关推荐

最新文章

热门文章