【0】安装前的声明

0.1） 所用节点2个

master : 192.168.119.105 hadoop5
slave : 192.168.119.101 hadoop1
（先用一个slave，跑成功后，在从master分别scp到各个slaves即可】）

0.2） 每个机子的那些个文件需要一样

（或者直接从master直接scp到各个slaves即可）

vim /etc/hosts（主机名和ip地址映射文件）

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.119.101 hadoop1
192.168.119.102 hadoop2
192.168.119.103 hadoop3
192.168.119.104 hadoop4
192.168.119.105 hadoop5
jdk 解压目录

这里统一解压到 /usr/java/jdk

0.3） 所有master和slaves机子的用户名全部是hadoop

注意要用hadoop用户的权限对hadoop的文件配置进行操作

【1】安装JDK

1.1）解开jdk压缩包

tar -zvx -f jdk-7u7-linux-x64.tar.gz （解压缩，-z处理gz, -j 处理 bzip2）
（或许之前，你需要 chmod 755 your_jdk_file）

1.2）配置环境变量

打开/etc/profile，在文件最后输入下面内容

1.3） source /etc/profile

作用:在当前bash环境下读取并执行FileName中的命令。
注：该命令通常用命令“.”来替代。
如：source .bash_rc 与 . .bash_rc 是等效的。
注意：source命令与shell scripts的区别是，
source在当前bash环境下执行命令，而scripts是启动一个子shell来执行命令。这样如果把设置环境变量（或alias等等）的命令写进scripts中，就只会影响子shell,无法改变当前的BASH,所以通过文件（命令列）设置环境变量时，要用source 命令。

1.4 )设置新安装的JDK为默认的JDK


命令行输入如下命令：
sudo update-alternatives –install /usr/bin/java java /usr/java/jdk/bin/java 300
sudo update-alternatives –install /usr/bin/javac javac /usr/java/jdk/bin/javac 300
sudo update-alternatives –config java
（Attention）–install 和 –config 是两个 横线-，

1.5）验证Java是否安装成功

　输入 java-version ，输出Java版本信息即为安装成功。

【2】SSH 安装

（google ssh centos 安装
http://www.cnblogs.com/alaska1131/articles/1659654.html）

（以下配图中的文字有错误，改为：
ssh的公私钥建立 输入命令：ｓｓｈ－ｋｅｙｇｅｎ　就可以了（其默认的密钥生成方式是ｒｓａ）　，　
然后三个回车，默认的公私钥就在家目录的.ssh文件夹下了。）

2.1）如何使用ssh

ssh的目的就是使用免密码登陆；
如果在master上，如

Attention）

A1 ) 当ssh安装后，.ssh 文件夹会自动生成在家目录（如/home/hadoop下），所有机器的.ssh 的访问权限必须是700
A2）在.ssh 下的authorized_keys 的权限 必须是644或者600,
A3）ssh会依据.ssh和authorized_keys的权限来判断是否接受免密码登陆

【3】Hadoop2.6.0 配置

http://blog.csdn.net/caiandyong/article/details/42815221
http://blog.csdn.net/caiandyong/article/details/44925845

3.1）文件配置 （hadoop解压文件所放置的目录，请自行创建）




以下配置文件只需傻瓜式的copy and paste


vim core-site.xml<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop5:9000</value><description>A base for other temporary directories.</description></property><property><name>io.file.buffer.size</name><value>4096</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/hdfs/hadooptmp</value></property><property><name>hadoop.proxyuser.spark.hosts</name><value>*</value></property><property><name>hadoop.proxyuser.spark.groups</name><value>*</value></property>
</configuration>
vim hdfs-site.xml<configuration><property><name>dfs.namenode.secondary.http-address</name><value>hadoop5:9001</value></property><property><name>dfs.namenode.name.dir</name><value>/home/hadoop/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>/home/hadoop/hdfs/datanode</value></property><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property>
</configuration>
vim mapred-site.xml<configuration><property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>hadoop5:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>hadoop5:19888</value></property>
</configuration>
vim yarn-site.xml<configuration>
<!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hadoop5</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property><property><name>yarn.resourcemanager.address</name><value>hadoop5:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>hadoop5:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>hadoop5:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>hadoop5:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>hadoop5:8088</value></property>
</configuration>

vim slaves （有多少个slaves 就写对应的主机名）

hadoop1
hadoop2 （若从master scp到slaves(hadoop2的话)）
vim hadoop-env.sh 末尾追加

export JAVA_HOME=/usr/java/jdk
export HADOOP_PREFIX=/home/hadoop/hadoop

【Complementary】

从master（hadoop5） scp hadoop framework到 slave（hadoop2）

1) jump到hadoop5的家目录
2) scp -r hadoop/ hadoop@hadoop2:~/
3) scp -r /usr/java/jdk/ hadoop@hadoop2:~ ；
and then
sudo cp -r ~/jdk /usr/java/；

You Should Know: (when execute scp operation from master to slave)

1) 修改 hadoop/etc/hadoop/slaves 添加hadoop2 这是slave的主机
2) 修改hadoop/etc/hadoop/hdfs-site.xml 将 dfs.replication 修改为2

3.2）格式化hdfs （slave端 不需要此operation）

bin/hdfs namenode -format

3.3）开启所有进程 （slave端 不需要此operation）

sbin/start-all.sh
or 关闭所有进程 sbin/stop-all.sh

3.4) 访问

hdfs的 web页面 http://192.168.119.101:50070/dfshealth.html#tab-overview
hadoop 的 节点 web页面 http://192.168.119.101:8088/cluster/nodes

【Attention】

如果要重新格式化，请吧hdfs的文件夹 namenode,datanode and hadooptmp 文件夹里面的内容清空干净
rm -r * ，然后在重新格式化，启动所有进程，等等。

3.5）最后的效果（缺一不可）



如果scp master（hadoop5）上面的hadoop framwork 到 slave2（hadoop2）上的话，
那么你会看到：

至此，hadoop集群搭建完毕。

3.6） 两个节点的集群启动（补充）

首先，我们用到了一个master（hadoop5）和一个slave（hadoop1），后来，我们又添加了一个slave（hadoop2）， 我们看看两个节点的启动效果。




Bingo !

【4】CentOS上安装eclipse IDE工具（只为方便调试java程序） + hadoop 集成

4.1） 下载eclipse 官网

并传送到centos上，推荐使用 lrzsz 这个工具（centos 上安装）

lrzsz 使用实例

安装lrzsz （receive 和 send）
yum install lrzsz

rz r就是receive linux服务器接收。 也就是 windows上传文件。
如图，输入rz会调出一个对话框，可以选择你需要上传的文件


sz r就是Send linux服务器发送。 也就是 windows下载文件。
如图，输入sz 后面接上你需要发送的文件 或文件夹。

4.2） 解压即可，放置到/usr/local/

4.3）下载插件 hadoop-eclipse-plugin-2.6.0.jar


并放置到 /usr/local/eclipse/plugins

4.4） 配置eclipse 和 MapReduce IDE




创建项目完成，接下来，你就开始coding吧。

hadoop2.6.0+eclipse配置相关推荐

  1. Ubuntu 14.10 安装 hadoop-2.6.0单机配置和伪分布式配置

    安装openssh-server(用于远程连接) sudo apt-get install ssh openssh-server sudo apt-get install ssh openssh-cl ...

  2. CentOS7-64bit 编译 Hadoop-2.5.0，并分布式安装

    摘要 CentOS7-64bit 编译 Hadoop-2.5.0,并分布式安装 目录[-] 1.系统环境说明 2.安装前的准备工作 2.1 关闭防火墙 2.2 检查ssh安装情况,如果没有则安装ssh ...

  3. eclipse中hadoop2.3.0环境部署及在eclipse中直接提交mapreduce任务

    转自:http://my.oschina.net/mkh/blog/340112 1 eclipse中hadoop环境部署概览 eclipse中部署hadoop包括两大部分:hdfs环境部署和mapr ...

  4. Eclipse中部署hadoop2.3.0

    1 eclipse中hadoop环境部署概览 eclipse 中部署hadoop包括两大部分:hdfs环境部署和mapreduce任务执行环境部署.一般hdfs环境部署比较简单,部署后就 可以在ecl ...

  5. Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

    25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...

  6. win10java配置环境变量msi_Windows10+eclipse+hadoop2.7.1环境配置+wordcount-折腾笔记

    刚用Ambari搭建好Hadoop,就开始写Hello World! 一.背景 1.Hadoop版本 经查看为2.7.1 Shell 1 2 3 4 5 6 7 [root@TJ1-000~]# ha ...

  7. win7 eclipse调用虚拟机ubuntu部署的hadoop2.2.0伪分布（1）

    所用软件下载网址:链接:http://pan.baidu.com/s/1bn4IIQF密码:ramg win7环境下jdk下载路径(/jdk/jdk-7u71-windows-i586.exe) ec ...

  8. Hadoop安装教程_单机/伪分布式配置_CentOS6.4/Hadoop2.6.0

    本 Hadoop 教程由厦门大学数据库实验室出品,转载请注明.本教程适合于在 CentOS 6.x 系统中安装原生 Hadoop 2,适用于Hadoop 2.7.1, Hadoop 2.6.0 等版本 ...

  9. 【甘道夫】Win7x64环境下编译Apache Hadoop2.2.0的Eclipse插件

    目标: 编译Apache Hadoop2.2.0在win7x64环境下的Eclipse插件 环境: win7x64家庭普通版 eclipse-jee-kepler-SR1-win32-x86_64.z ...

最新文章

  1. 区跨链应用 | 区块链创业者不要再骗自己了
  2. 小议数据库主键选取策略
  3. Cocos2d-x 脚本语言Lua中的面向对象
  4. 题库练习5（句子逆序、字符串排序、int型二进制表示中1的个数、购物单）
  5. mybatis generator逆向工程使用
  6. 【性能优化】 之 HINTS 相关作业
  7. webpack入坑指南
  8. 第三章 Python函数
  9. Linux 攻击防护基础排查
  10. cmake错误：Could not find a package configuration file provided by 的一种解决方法
  11. 大整数相乘python fft_Python带你理解用于信号同步的CAZAC序列
  12. 深入解读Linux进程调度系列（3）——调度的执行过程
  13. C/C++[算法入门]续
  14. 对称加密、非对称加密、数字签名、数字证书、签名加密
  15. CodeQL自动化代码审计工具
  16. python怎样删除某一行_python删除某一行
  17. 浙大oj（Basic Practice）1004
  18. 查看pg　用户组_PostgreSQL 角色用户管理
  19. Unity项目接收不到android的KeyEvent的解决办法
  20. 打开System x服务器的IMM2 Web界面

热门文章

  1. AGC023F - 01 on Tree
  2. P3302 SDOI2013森林
  3. CF464E The Classic Problem（主席树+哈希+最短路）
  4. YBTOJ洛谷P1407：稳定婚姻（强连通分量）
  5. P5405-[CTS2019]氪金手游【树形dp,容斥,数学期望】
  6. nssl1488-上升子序列【贪心,dp】
  7. nssl1469-W【dp】
  8. 51nod-猴猴的比赛【莫队,线段树】
  9. P1236-Network of Schools（学校网络）【最强联通块,Kosaraju】
  10. 2021“MINIEYE杯”中国大学生算法设计超级联赛（2）I love max and multiply（转化）