Hadoop Install
煮酒品茶:大晚上的,有气无力的呻吟,让你深深的感觉听我的声音是一种折磨。没录好,笔记本声音也没录好,将就着听吧。哈哈
# Install Hadoop Master
# DownLoad Hadoop and Jdk packets
One : stop all hosts Selinux and iptables.
# service iptables stop
# chkconfig iptables off
# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config
# setenforce 0
Two : change hostname and hosts
# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=n1
GATEWAY=192.168.0.1
#HOSTNAME=n1
# cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.0.180n1.hadoop.comn1
192.168.0.190d1.hadoop.comd1
192.168.0.200d2.hadoop.comd2
Three : Install Jdk
# tar zxvf jdk-7u25-linux-x64.gz
# mv mv jdk1.7.0_25 /usr/local/java
# cat /etc/profile
.......
export JAVA_HOME=/usr/local/java
export JRE_HOME=/usr/local/java/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
# souce /etc/profile
Four : Install Hadoop Master
# tar zxvf hadoop-0.20.2.tar.gz
# mv hadoop-0.20.2 /usr/local/hadoop0.20.2
# cd /usr/local/hadoop0.20.2/conf
# cat /etc/profile
.......
export HADOOP_HOME=/usr/local/hadoop0.20.2
export PATH=$HADOOP_HOME/bin:$PATH
Five : Change Config file
# cat hadoop-env.sh |grep JAVA_HOME
export JAVA_HOME=/usr/local/java #change your $JAVA_HOME
# cat core-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://n1:9000</value>
</property>
</configuration>
# cat hdfs-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/hadoop/hdfs1</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
# cat masters
n1
# cat slaves
d1
d2
# Six : non-user login and all hosts
# useradd hadoop
# su - hadoop
# cd ./.ssh
# ssh-keygen -t rsa
<Enter...>
# scp id_rsa.pub d1:/home/hadoop/n1
# scp id_ras.pub d2:/home/hadoop/n1
To d1
# cat n1 >> .ssh/authorized_keys
# chmod 755 .ssh/authorized_keys
To d2
# cat n1 >> .ssh/authorized_keys
# chmod 755 .ssh/authorized_keys
D1 D2 gogogo!
# Senven : tar This dir and scp to slaves
# cd /usr/local
# tar zcvf hadoop0.20.2.tar.gz hadoop2.20.2
# scp hadoop0.20.2.tar.gz d1:/home/root
# scp hadoop0.20.2.tar.gz d2:/home/root
D1: install Jdk and export
# tar zxvf hadoop2.20.2.tar.gz
# mv hadoop2.20.2 /usr/local/hadoop2.20.2
D2: : install Jdk and export
# tar zxvf hadoop2.20.2.tar.gz
# mv hadoop2.20.2 /usr/local/hadoop2.20.2
# Eight : Run server
N1 :
use hadoop user:
$ hadoop namenode -format
$ start-all.sh
jps test
$ jps
50030 WebUi
http://n1:50030
D1:
$ start-dfs.sh
D2:
$ start-dfs.sh
Config file tree:
[root@n1 conf]# tree
.
├── 1
├── capacity-scheduler.xml
├── configuration.xsl
├── core-site.xml
├── hadoop
│ └── hdfs1
├── hadoop-env.sh
├── hadoop-metrics.properties
├── hadoop-policy.xml
├── hdfs-site.xml
├── log4j.properties
├── mapred-site.xml
├── masters
├── slaves
├── ssl-client.xml.example
└── ssl-server.xml.example
2 directories, 14 files
exp:
hadoop jar hadoop-0.20.2-examples.jar wordcount iis_log cgw_iis_log
Hadoop Install相关推荐
- Hadoop(Install)
2019独角兽企业重金招聘Python工程师标准>>> 安装目标:一个namenode 和 2 个datanode,假定已用户名zhaomeng和密码zhaomeng进行 虚拟机:3 ...
- hadoop install start-dfs.sh 失败
linux:ubuntu 16.04 LTS hadoop version: 2.7.3 JDK: java-9-open-jdk issue: start-dfs.sh start-dfs.sh:c ...
- [Hadoop] Install Hadoop 2.2 on Win7 64bit
环境:win7, 64 bit, JDK7 Download the stable version 2.2.0 http://mirrors.cnnic.cn/apache/hadoop/commo ...
- linux Fedora搭建hadoop平台总结
为什么80%的码农都做不了架构师?>>> 一.准备 1.用户:用root也行,或者自己建立一个新的用户都可以,但是注意所有集群采用同样的用户名以及java和hadoop相同的安 ...
- Hadoop集群配置(最全面总结)
Hadoop集群配置(最全面总结) 通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker.这些机器是masters.余下的机器即作为DataNode也作为Ta ...
- Hadoop “Unable to load native-hadoop library for y
2019独角兽企业重金招聘Python工程师标准>>> http://devsolvd.com/questions/hadoop-unable-to-load-native-hado ...
- Eclipse下搭建Hadoop开发环境,并运行第一个实例
有同学无法正常运行程序,这里将Eclipse下Hadoop环境配置进行一下说明: 1.新建Map/Reduce工程 2.设置Hadoop Locaiton,第一次使用的话,点击大象,新建配置. 3.设 ...
- myeclipse连接hadoop集群编程及问题解决
原以为搭建一个本地编程测试hadoop程序的环境很简单,没想到还是做得焦头烂额,在此分享步骤和遇到的问题,希望大家顺利. 一.要实现连接hadoop集群并能够编码的目的需要做如下准备: 1.远程had ...
- Hadoop学习:Map/Reduce初探与小Demo实现
一. 概念知识介绍 Hadoop MapReduce是一个用于处理海量数据的分布式计算框架.这个框架攻克了诸如数据分布式存储.作业调度.容错.机器间通信等复杂问题,能够使没有并行 处理或者分布式 ...
最新文章
- Linux服务器生产环境中的文件删除与替换
- PX Deq: Execution Msg等待事件
- Java IO流之【缓冲流和文件流复制文件对比】
- 【SAS NOTES】if then和if的区别
- Leaflet中添加的不同图层样式图标
- 超棒的在线Bootstrap主题编辑工具 - lollytin
- 前端学习(3017):vue+element今日头条管理--优化封装请求
- 前端学习(729):函数导读
- 鼓励参与计算机考试宣传标语,诚信考试的宣传标语(精选60条)
- linux的文件 I/O操作
- mysql in/no in/like
- I2C 协议分析和学习
- UWP 保存用户设置
- WIN2K8R2安装MySQL5.7及Tomcat8.5
- golang json string remove field
- 【器件知识】【设计】ESD专题-闩锁效应-大尺寸输出缓冲器
- matlab程序产生OAM波,一种反射型极化转换超表面的轨道角动量产生结构设计的制作方法...
- 台式计算机 cpu型号大全,电脑cpu的型号有哪些?
- 关于DSP的中断操作
- 莮亾芣湜唥洫,莮亾竾浍哭
热门文章
- DCMTK:OFUUID测试程序
- DCMTK:测试dcmiod的代码序列宏实现
- VTK:PolyData之ThresholdCells
- VTK:几何对象之ParametricObjects
- Qt Creator连接通用远程Linux设备
- OpenGL 深度测试depth test 的实例
- 经典C语言程序100例之三四
- 「SLAM」十四讲:第1讲 预备知识
- Scala模式匹配,case 字符串,case 匹配类型,case 匹配数组,case 匹配List,case 匹配元组,case匹配case class和case object
- 为指定的职工在原工资的基础上长10%的工资,并打印涨工资前和涨工资后的工资