hadoop学习之路(3)

重新系统化学习hadoop

虽然官方对centos6已经停止维护,但还是硬着头皮沿用之前的centos6,并解决了一点小疑惑.

1.修改ip地址的文件

/etc/sysconfig/network-scripts/ifcfg-eth0

2.修改主机名的文件

/etc/sysconfig/network

3.主机映射文件

/etc/hosts

4.防火墙

service iptables status #状态
service iptables stop #关闭防火墙
chkconfig iptables off #防止开机自启

5.复制克隆主机,并保持时间同步ntp,建议ntp1.aliyun.com

centos6的yum安装异常报错

All mirror URLs are not using ftp, http[s] or file.换镜像,此处参考https://www.jianshu.com/p/70e9dcf61ef9已解决

sed -i "s|enabled=1|enabled=0|g" /etc/yum/pluginconf.d/fastestmirror.confmv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backupcurl -o /etc/yum.repos.d/CentOS-Base.repo https://www.xmpan.com/Centos-6-Vault-Aliyun.repoyum clean allyum makecache

6.安装jdk,hadoop,配置JAVA_HOME,HADOOP_HOME,并将它们申明为全局变量,并配置到PATH

7.配置用户bashrc,添加source /etc/profile,添加ssh免密登录

8.配置同步,以及在集群的所有机器上批量执行同一条命令

#!/bin/bash
#校验参数是否合法
if(($#==0))
thenecho 请输入要分发的文件!exit;
fi
#获取分发文件的绝对路径
dirpath=$(cd `dirname $1`; pwd -P)
filename=`basename $1`echo 要分发的文件的路径是:$dirpath/$filename#循环执行rsync分发文件到集群的每条机器
for((i=101;i<=103;i++))
doecho ---------------------hadoop$i---------------------rsync -rvlt $dirpath/$filename  layman@hadoop$i:$dirpath
done

View Code

#!/bin/bash
#在集群的所有机器上批量执行同一条命令
if(($#==0))
thenecho 请输入您要操作的命令！exit
fiecho 要执行的命令是$*#循环执行此命令
for((i=101;i<=103;i++))
doecho ---------------------hadoop$i-----------------ssh hadoop$i $*
done

View Code

并添加以上bash有执行权限,放到用户可执行的目录,如~/bin

9.安装如下配置集群

修改并按照ResourceManager的位置执行批处理的上面自主编写的两个脚本,启动yarn和dfs启动脚本,history

并进行测试工作

以上皆为学习笔记,仅供个人回忆

hadoop学习之路(3)相关推荐

3台云腾讯云开始hadoop学习之路笔记二
3台云腾讯云开始hadoop学习之路笔记二(接上) 大三党开始学习hadoop之路了,菜鸟学习hadoop,有啥错误请大佬指教.由于自己电脑配置不够,只能买3台腾讯云服务器来学习了.以下笔记都是记录我 ...
我的hadoop学习之路
Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS.HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上. Ha ...
Hadoop学习之路一 Single Node Setup
从研究生入学到现在,快一年的时间了.和很多人一样,我迷茫着,一直没想明白自己想要干什么.年轻的时候真的想和所有人不一样,直到最后选择了大数据方向,更多的也是感觉.青春的魅力在于可能性.没有过多的犹豫纠 ...
Hadoop学习之路（二）Hadoop发展背景
Hadoop产生的背景 1. HADOOP最早起源于Nutch.Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取.索引.查询等功能,但随着抓取网页数量的增加,遇到了严重的可扩展性问题-- ...
Hadoop学习之路（三）Hadoop-2.7.5在CentOS-6.7上的编译
下载Hadoop源码 1.登录官网 2.确定你要安装的软件的版本一个选取原则: 不新不旧的稳定版本几个标准: 1)一般来说,刚刚发布的大版本都是有很多问题 2)应该选择某个大版本中的最后一个小版本 ...
Hadoop学习之路（九）HDFS深入理解
HDFS的优点和缺点 HDFS的优点 1.可构建在廉价机器上通过多副本提高可靠性,提供了容错和恢复机制服务器节点的宕机是常态必须理性对象 2.高容错性数据自动保存多个副本,副本丢失后,自动 ...
Hadoop学习之路（十三）MapReduce的初识
MapReduce是什么首先让我们来重温一下 hadoop 的四大组件: HDFS:分布式存储系统 MapReduce:分布式计算系统 YARN:hadoop 的资源调度系统 Common:以上三大 ...
hadoop学习之路(5)
HadoopHA 1.zookeeper配置 zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number ...
hadoop学习之路(2)
1.本地安装hadoop(不安装本地hadoop会报错,虽然并不影响远程的环境,但会报错:Failed to locate the winutils binary in the hadoop bina ...

hadoop学习之路(3)

hadoop学习之路(3)相关推荐

最新文章

热门文章