hadoop1.0集群搭建

2024-05-14 01:58:54

1.启动Linux，选择I copy it（选择move是mac地址不变，选择copy，会新产生一mac地址）

2.配置Linux环境
2.1执行ifconfig命令发现，可用的网卡是eth1 HWaddr <新的MAC地址>

2.2将eth1的新的mac地址复制下来，替换原来eth0里旧的的mac地址
     vim /etc/sysconfig/network-scripts/ifcfg-eth0
          HWADDR="<旧的mac地址>" --> "<新的mac地址>"

     2.3 find /etc -name "*net.rules"
          vim /etc/udev/rules.d/70-persistent-net.rule
          把原来的eth0的那行删掉，再把eth1这个字符串改成eth0

2.4修改主机名

     2.5修改主机名和IP的映射关系

     2.6关闭防火墙

     2.7关闭linux的图形界面，以命令行的方式启动
          vim /etc/inittab
          id:3:initdefault:
     2.8 reboot

3.安装jdk(详情看安装伪分布式笔记)
     将安装好的jdk通过scp的方式拷贝到其他节点
     scp -r /usr/java/ hadoop02:/usr/
     scp -r /usr/java/ hadoop03:/usr/

4.安装配置hadoop集群
     4.1上传hadoop压缩包

     4.2解压

     4.3配置hadoop（需要修改6个配置文件）
          第一个：hadoop-env.sh
               export JAVA_HOME=/usr/local/jdk1.6.0_45

          第二个：core-site.xml
               
               <property>
                         <name>fs.default.name</name>
                         <value>hdfs://hadoop01:9000</value>
               </property>
               
               <property>
                         <name>hadoop.tmp.dir</name>
                         <value>/cloud/hadoop-1.1.2/tmp</value>
               </property>

          第三个：hdfs-site.xml
               
               <property>
                         <name>dfs.replication</name>
                         <value>3</value>
               </property>

          第四个：mapred-site.xml
               
               <property>
                         <name>mapred.job.tracker</name>
                         <value>hadoop01:9001</value>
               </property>

          第五个：masters(指定secondarynamenode地址)
               hadoop01

          第六个：slaves
               hadoop02
               hadoop03

     4.4将配置好的hadoop拷贝到其他节点
          scp -r /cloud/ hadoop02:/
          scp -r /cloud/ hadoop03:/

4.5配置ssh免登
          是hadoop01到hadoop02、hadoop03的免登
          ssh-keygen -t rsa（在hadoop01上生成即可）

          ssh-copy-id -i hadoop01
          ssh-copy-id -i hadoop02
          ssh-copy-id -i hadoop03

4.6拷贝/etc/profile到其他节点
          scp /etc/profile hadoop02:/etc/
          scp /etc/profile hadoop03:/etc/

     4.6仅在hadoop01上格式化hadoop
          hadoop namenode -format

5.动态添加一台节点
     hadoop04 192.168.1.204
     5.1通过克隆方式添加一台Linux
     5.2修改主机名
     5.3使用root用户登录，右键点击右上角网络，选择Edit connections，修改Auto eth1，设置为manual方式，添加IP，NETMASK，GAYEWAY,再点apply
     5.4重启机器：reboot
     5.5分别启动datanode和tasktracker
          hadoop-daemon.sh start datanode
          hadoop-daemon.sh start tasktracker
     5.6在hadoop01上即namenode所在节点上运行命令刷新
          hadoop dfsadmin -refreshNodes

6.hadoop集群管理相关命令
     hadoop安全模式：Safe mode is ON（可以读取文件，但是不可以向HDFS写入文件）
     hadoop dfsadmin -safemode enter(进入安装器模式) / leave(离开安全模式) / get(获取当前状态) / wait(竟然等待状态)
     hadoop mrsadmin -safemode enter / leave / get / wait

7.将namenode，jobtracker和secondarynamenode分开部署
     主机名          运行的进程
     hadoop01     namenode
     hadoop02     jobtracker、secondarynamenode
     hadoop03     datanode、tasktracker
     hadoop04     datanode、tasktracker

在hadoop01上修改masters，指定secondarynamenode，修改成hadoop02
     再修改slaves文件，hadoop03、hadoop04

     hadoop02上，修改mapred-site.xml，将mapred.job.tracker的值改成hadoop02:9001
     再修改slaves文件，hadoop03、hadoop04
     设置hadoop02到hadoop03、hadoop04的免登陆
     ssh-keygen -t rsa
     ssh-copy-id -i hadoop03
     ssh-copy-id -i hadoop04

     在hadoop03上，修改mapred-site.xml，将mapred.job.tracker的值改成hadoop02:9001

     在hadoop04上，修改mapred-site.xml，将mapred.job.tracker的值改成hadoop02:9001

hadoop1.0集群搭建相关推荐

Spark-1.4.0集群搭建
主要内容 Ubuntu 10.04 系统设置 ZooKeeper集群搭建 Hadoop-2.4.1集群搭建 Spark 1.4.0集群搭建假设已经安装好Ubuntu操作系统 Ubuntu 10.04 ...
hadoop-3.0.0集群搭建
2019独角兽企业重金招聘Python工程师标准>>> hadoop-3.0.0集群搭建下载hadoop包 wget -c http://ftp.jaist.ac.jp/pub/a ...
Spark2.2.0集群搭建部署之【HADOOP集群篇】
软件准备信息,详见Spark2.2.0集群搭建部署之[软件准备篇] 基础配置信息,详见Spark2.2.0集群搭建部署之[基础配置篇] SSH无密访问,详见park2.2.0集群搭建部署之[无密访问篇 ...
Spark2.2.0集群搭建部署之【基础配置篇】
软件准备信息,详见Spark2.2.0集群搭建部署之[软件准备篇] Spark集群在生产环境中,主要部署在linux的集群中,所以需要先安装JDK,SCALA等基础配置. 由于Spark是计算框架,所 ...
redis5.0集群搭建(两台服务器)
redis5.0集群搭建(两台服务器) 用两台虚拟机模拟6个节点,一台机器3个节点,创建出3 master.3 salve 环境. redis 采用 redis-5.0.2 版本. 两台虚拟机都是 C ...
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
*福音*阿里云redis5.0.*集群搭建及java代码测试详细（终于不用ruby了）
redis 5.0版本集群搭建不需要我们安装ruby就可以搭建成功,并且redis给我们提供了快速搭建脚本,执行utils/create-cluster/ 目录下的create-cluster脚本 ...
Ubuntu 12.04下spark1.0.0 集群搭建（原创）
spark1.0.0新版本的于2014-05-30正式发布啦,新的spark版本带来了很多新的特性,提供了更好的API支持,spark1.0.0增加了Spark SQL组件,增强了标准库(ML.str ...
Hadoop 2.2.0 集群搭建
概述在前面我有写过关于 Hadoop 集群的搭建,不过之前的 Hadoop 是 1.x 版本的.目前是基于 2.x 版本的 Hadoop,与之前的 1.x 版本的差别还是挺大的.以及更为详细的 SS ...
kafka1.0+ 集群搭建
2019独角兽企业重金招聘Python工程师标准>>> 因为kafka已经降低了zookeeper在kafka中的重要性,所有不推荐单独搭建zookeeper了,使用集成的zooke ...

最新文章

热门文章