2019独角兽企业重金招聘Python工程师标准>>>

配置环境

准备： 三台虚拟机

配置主节点：

1. 查看当前使用网卡

[root@localhost ~]# dmesg | grep -i eth
Bluetooth: BNEP (Ethernet Emulation) ver 1.3
eth0: no IPv6 routers present

dmesg是显示开机启动信息， grep -i是忽略大小写查找

2. 查看当前ip、网关

[root@localhost ~]# ifconfig
eth0      Link encap:Ethernet  HWaddr 00:0C:29:E0:C3:61  inet addr:192.168.182.138  Bcast:192.168.182.255  Mask:255.255.255.0inet6 addr: fe80::20c:29ff:fee0:c361/64 Scope:LinkUP BROADCAST RUNNING MULTICAST  MTU:1500  Metric:1RX packets:24092 errors:0 dropped:0 overruns:0 frame:0TX packets:12373 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:1000 RX bytes:35176927 (33.5 MiB)  TX bytes:672502 (656.7 KiB)Interrupt:19 Base address:0x2024 lo        Link encap:Local Loopback  inet addr:127.0.0.1  Mask:255.0.0.0inet6 addr: ::1/128 Scope:HostUP LOOPBACK RUNNING  MTU:16436  Metric:1RX packets:8 errors:0 dropped:0 overruns:0 frame:0TX packets:8 errors:0 dropped:0 overruns:0 carrier:0collisions:0 txqueuelen:0 RX bytes:480 (480.0 b)  TX bytes:480 (480.0 b)

配置静态IP：

[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0DEVICE="eth0"
#BOOTPROTO="dhcp"
BOOTPROTO="static"
HWADDR="00:0C:29:E0:C3:61"
#IPV6INIT="yes"
IPV6INIT="no"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="7039ffae-3334-4445-b571-a805eecd4a77"
IPADDR=192.168.182.101
NETMASK=255.255.255.0
GATEWAY=192.168.182.255

修改主机名：

[root@localhost ~]# vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
[root@localhost ~]# hostname master
[root@localhost ~]# hostname
master

修改hosts文件：

[root@localhost ~]# vi /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.182.100 master
192.168.182.101 slave1
192.168.182.102 slave2

关闭防火墙（生产环境不能关闭， 需要添加允许列表）

[root@localhost ~]# service iptables stop
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Unloading modules:                               [  OK  ]
[root@localhost ~]# chkconfig iptables off

关闭 selinux

[root@localhost ~]# vi /etc/selinux/config

将SELINUX的值对应修改为： SELINUX=disabled

将两台从属节点按照上面的配置配好， ip分别设置为192.168.182.102和192.168.182.103， 主机名分别为slave1、slave2。

创建相同的用户（三台主机） 
#useradd hadoop
#passwd hadoop

配置无密码访问

三台机器上分别执行以下语句：

[hadoop@master .ssh]$ ssh-keygen -t rsa
[hadoop@master .ssh]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

将salve1和slave2上生成的authorized_keys文件拷贝到master上

scp ~/.ssh/authorized_keys master:~/.ssh/authorized_keys1
scp ~/.ssh/authorized_keys master:~/.ssh/authorized_keys2

合并文件

cat authorized_keys1 >>  authorized_keys
cat authorized_keys2 >>  authorized_keys

将master主机上合并后的authorized_keys文件复制到salve1和slaver2上

scp ~/.ssh/authorized_keys slave1:~/.ssh/
scp ~/.ssh/authorized_keys slave2:~/.ssh/
三台主机上执行:

$ chmod 600 authorized_keys

验证

$ ssh slave1

$ ssh slave2

配置hadoop

上传hadoop-1.2.1.tar.gz到home目录， 解压后确认所属用户和组都是hadoop

$ tar xzvf hadoop-1.2.1-bin.tar.gz
$ chown -R hadoop:hadoop hadoop-1.2.1
配置hadoop用户的.bashrc文件： 
export JAVA_HOME=/usr/java/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib
发送到另外两台主机 
$ scp .bashrc slave1:~
$ scp .bashrc slave2:~

修改hadoop-env.sh文件

[hadoop@master ~]$ vi hadoop-1.2.1/conf/hadoop-env.sh

修改：
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HADOOP_HEAPSIZE=20

修改core-site.xml

[hadoop@master ~]$ vi hadoop-1.2.1/conf/core-site.xml

文件内容:

<configuration><property><name>hadoop.tmp.dir</name><value>/home/hadoop/tmp</value></property><property><name>fs.default.name</name><value>hdfs://master:9000</value></property>
</configuration>

hadoop会自动创建/home/hadoop/tmp

修改 hdfs-site.xml

[hadoop@master ~]$ vi hadoop-1.2.1/conf/hdfs-site.xml

文件内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>dfs.data.dir</name><value>/home/hadoop/data</value></property><property><name>dfs.replication</name><value>2</value></property>
</configuration>

修改mapred-site.xml， 文件内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name>mapred.job.tracker</name><value>master:9001</value></property>
</configuration>

修改master文件：

master

修改slave文件：

slave1
slave2

将master节点上配置好的hadoop发送到slave1、slave2节点

$ scp -r ./hadoop-1.2.1 slave1:/home/hadoop
$ scp -r ./hadoop-1.2.1 slave2:/home/hadoop

格式化HDFS
$ ./hadoop namenode -format

运行start-all.sh（只在主节点运行）
$ ./start-all.sh

通过jps命令检测启动情况

master节点上应该存在：NameNode、SecondaryNameNode、JobTracker

slave1、slave2节点上存在：DataNode、TaskTracker

查看运行情况

1）

[hadoop@master bin]$ hadoop dfsadmin -report

2）

http://192.168.182.100:50070/dfshealth.jsp

http://192.168.182.100:50030/jobtracker.jsp

转载于:https://my.oschina.net/xiaoqqq/blog/393257

linux分布式安装hadoop1.2相关推荐

  1. hadoop1.1.2分布式安装---集群动态增减节点

    0 关于配置机器别名,配置IP和别名映射,设置IP,关闭防火墙和自启动,单机下配置ssh请参考 hadoop1.1.2伪分布式安装(单机版)的文章, 链接: http://chengjianxiaox ...

  2. Linux下安装 SkyWalking 分布式追踪系统

    Linux下安装 SkyWalking 分布式追踪系统 1.SkyWalking简介 1.1 SkyWalking介绍 SkyWalking项目是由华为大牛吴晟开源的个人项目,目前已经加入Apache ...

  3. Linux伪分布式安装Hadoop

    Linux伪分布式安装Hadoop 1. 更新软件列表 hadoop@jeff:~$ sudo apt update 2. 安装vim编辑器 hadoop@jeff:/home/jeff$ sudo ...

  4. linux卸载hadoop版本,centos6.5 安装hadoop1.2.1的教程详解【亲测版】

    本篇只简单介绍安装步骤 1. 角色分配 10.11.84.4 web-crawler--1.novalocal master/slave 10.11.84.5 web-crawler--2.noval ...

  5. 51分布式电商项目 - Linux下安装ActiveMQ

    安装包已上传至百度网盘: 链接:https://pan.baidu.com/s/1THpgvTtH_PXWp55v895cAA 提取码:ks1y 下面讲解在Linux下安装ActiveMQ 1)将 a ...

  6. 分布式系列教程（34） -Linux下安装ik分词器

    1.引言 因为Elasticsearch中默认的标准分词器分词器对中文分词不是很友好,会将中文词语拆分成一个一个中文的汉字,因此引入中文分词器-es-ik插件. 例如使用传统的分词器,可以看到把中文分 ...

  7. Hadoop完全分布式安装

    Hadoop 博客链接:http://hphblog.cn/2018/12/17/Hadoop简介与分布式安装/ 简介 Hadoop 是Apache Lucene创始人道格·卡丁(Doug Cutti ...

  8. Hadoop简介与分布式安装

    Hadoop的基本概念和分布式安装: Hadoop 简介 Hadoop 是Apache Lucene创始人道格·卡丁(Doug Cutting)创建的,Lucene是一个应用广泛的文本搜索库,Hado ...

  9. Linux下安装配置各种软件和服务

    1. JDK 1.1. 解压Linux版本的JDK压缩包 yum -y install glibc.i686 #安装jdk源glibc(需要联网下载源) mkdir /usr/local/src/jd ...

最新文章

  1. Spark任务提交源码
  2. 缓存穿透、缓存击穿、缓存雪崩及其解决方案
  3. Consul 服务注册与发现02—— 服务提供者
  4. asp下载防盗链代码
  5. Dp问题：奶牛的聚会
  6. 数据结构(五)堆排序
  7. VUE：EventHub
  8. Zookeeper启动闪退可能原因及解决方案
  9. 8cm等于多少像素_没诚意！红米Note 8 4800万像素是假的？网友：看看realme Q吧
  10. FTP 编写 3：同时为多个客户端服务（多线程）
  11. localhost可以访问 ip不能访问_如何解决域名可以访问80端口但访问不了其他端口的问题...
  12. 2021最新对比学习（Contrastive Learning）在各大顶会上的经典必读论文解读
  13. 行业知识图谱调查报告（一）：知识图谱概述
  14. 数据分析 - 安然事件
  15. Mode Collapse 和 Mode Dropping的定义与不同
  16. Android Studio第一次安装app到夜神模拟器报错
  17. 自学计算机编程语言经历！
  18. 抛光树脂制备超纯水电阻率18.25M
  19. 自己动手制作C 语言编译器（8）：表达式
  20. 协处理器CP15操作指令

热门文章

  1. 12python(第十二天日记)
  2. 信息系统安全等级保护备案任务详单
  3. 对抗模拟浏览器的DDoS攻击
  4. Spring都用到了那些设计模式（3）
  5. 传感器 Sensor 加速度【示例】
  6. 传输层学习之五（TCP的SACK，F-RTO）
  7. Mysql数据库名和表名的大小写敏感性问题
  8. Mono喜迁新家-http://www.xamarin.com/
  9. 学习jQuery之旅--新手必须知道的常用方法
  10. 忽然感觉公司的工作环境有污染，墙壁和地面会散发异味，时间长了会头疼。...