hadoop1.2.1伪分布式搭建
0.使用host-only方式
将Windows上的虚拟网卡改成跟Linux上的网卡在同一网段
注意:一定要将widonws上的WMnet1的IP设置和你的虚拟机在同一网段,但是IP不能相同
1.Linux环境配置(windows下面的防火墙也要关闭)
1.1修改主机名
vim /etc/sysconfig/network
1.2修改IP
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:BF:45:8B"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="99339c27-0884-46c0-85d5-2612e5c1f149"
IPADDR="192.168.1.110" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.192.1.1" ###
1.3修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.110 hadoop
1.4关闭防火墙
查看防护墙状态
service iptables status
关闭
service iptables stop
查看防火墙开机启动状态
chkconfig iptables --list
关闭开机启动
chkconfig iptables off
1.5安装JDK
上传JDK
添加执行权限
chmod u+x jdk-6u45-linux-i586.bin
解压
./jdk-6u45-linux-i586.bin
mkdir /usr/java
mv jdk1.6.0_45/ /usr/java/
将java添加到环境变量
vim /etc/profile
在文件的末尾添加如下内容
export JAVA_HOME=/home/app/sxp/jdk1.7
export PATH=$PATH:$JAVA_HOME/bin
刷新配置
source /etc/profile
2.配置hadoop
2.1上传hadoop包
2.2解压hadoop包
首先在根目录创建一个cloud目录
mkdir /cloud
tar -zxvf hadoop-1.1.2.tar.gz -C /cloud/
2.3配置hadoop伪分布式(要修改4个文件)
第一个:hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_45
第二个:core-site.xml
vim core-site.xml
<configuration>
<!-- 指定HDFS的namenode的通信地址 -->
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存放目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/cloud/hadoop-1.1.2/tmp</value>
</property>
</configuration>
第三个:hdfs-site.xml
vim hdfs-site.xml
<configuration>
<!-- 配置HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四个:mapred-site.xml
vim mapred-site.xml
<configuration>
<!-- 指定jobtracker地址 -->
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>
2.4将hadoop添加到环境变量
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.6.0_45
export HADOOP_HOME=/cloud/hadoop-1.1.2
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
source /etc/profile
2.5格式化HDFS
hadoop namenode -format
2.6启动hadoop
start-all.sh
2.7验证集群是否启动成功
jps(不包括jps应该有5个)
NameNode
SecondaryNameNode
DataNode
JobTracker
TaskTracker
还可以通过浏览器的方式验证
http://192.168.1.110:50070 (hdfs管理界面)
http://192.168.1.110:50030 (mr管理界面)
在这个文件中添加linux主机名和IP的映射关系
C:\Windows\System32\drivers\etc
3.配置ssh免登陆
生成ssh免登陆密钥
ssh-keygen -t rsa
执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)
将公钥拷贝到要免登陆的机器上
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
hadoop1.2.1伪分布式搭建相关推荐
- Hadoop伪分布式搭建(本人新手,欢迎大家多多指导和关照)
1.创建hadoop账户,创建用户的home目录并设置密码.(useradd -m hadoop ) 2.本步骤可以不做(我是为了方便,给hadoop赋予了root权限)(vi /etc/sudoer ...
- HBase伪分布式搭建
伪分布式一般都是用在测试环境中使用 前提:Java环境配置 HBase伪分布式搭建步骤: 1. 上传并解压HBase的jar包,并把解压后的文件移动到/opt/software目录 2. 配置环境变量 ...
- Spark伪分布式搭建与SparkYarn搭建
Spark伪分布式搭建教程(Standalone:Master+Slave) 分析: 1.配置好IP 2.修改好主机名 3.做好IP映射 4.关闭防火墙 5.安装好Java(请参考Linux-Java ...
- hase伪分布式搭建过程及说明
hase伪分布式搭建过程及说明 HBASE简介 hbase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用hbase技术可在廉价pc上搭建 起大规模结构化存储集群.hbase利用hadoo ...
- Centos7(linux)下hbase的伪分布式搭建以及eclipse远程连接
本博客是在VMware15.5pro.hadoop-2.7.5.jdk1.8.0.hbase-1.2.10,下进行的 hbase-1.2.10-bin.tar.gz下载地址:Index of /dis ...
- Hadoop单机模式和伪分布式搭建教程CentOS
版权声明:本文为博主原创文章,欢迎转载,请注明地址. 目录(?)[-] 准备工作 1 软件准备 2 创建hadoop用户 3 配置SSH无密码访问 4 安装JAVA环境 单机模式安装 伪分布式安装 首 ...
- Hadoop伪分布式搭建
1.到hadoop官网下载hadoop3.0,解压后用xftp复制到ubuntu中 2.配置hadoop的环境变量 在/etc/profile文件中添加如下语句: exportHADOOP_HOME= ...
- Spark之伪分布式搭建、伪分布式Hadoop、Hive安装
2019独角兽企业重金招聘Python工程师标准>>> 怎么在本地安装Spark,这里就不再描述了. List-1 #在SPARK_HOME/conf下 >cp slaves. ...
- centOS 7下Hadoop伪分布式搭建
记录笔记,尝试在centOS下安装Hadoop伪分布式(之前是在Ubuntu下安装的),查漏补缺. 步骤 第一步:先把在window系统中下载好的关于Hadoop.jdk压缩包用Xftp传输到cent ...
- Hadoop2.2.0伪分布式搭建
在hadoop中,分为单机模式,伪分布式,和完全分布式.而伪分布式在1.X中就是类似JobTracker和TaskTracker都在一台机器上运行,在2.X中,就是NameNode和DataNode在 ...
最新文章
- android之启动桌面activity
- 逻辑地址、线性地址、物理地址和虚拟地址
- Linux lsof命令详解(每日一令之二十)
- Effective C++ ------- virtual
- react(83)--filter
- AlexNet原理和实现
- [网络流24题-6]孤岛营救问题
- 字符串正反连接java_字符串正反连接(Java实现,超简单)
- php去掉 x5E,清除wordpress里PHP文件恶意代码
- linux 快组描述符,Linux 进程描述符 task struct
- 马斯洛需求的五个层次_运用马斯洛需求层次理论分析《吞噬星空》爽点之第九章...
- 从面向对象的api中识别软件组件(论文翻译)
- 容器技术Docker K8s 13 容器服务Kubernetes版ACK详解-使用镜像快速创建有状态应用
- 飞克速读软件的训练法
- W3Cschool凯撒(Caesar cipher)位移密码算法,通俗易懂,已知最佳,不服来战!
- linux终端查找隐藏文件,如何在Linux服务器中查看或隐藏文件?
- 将博客搬至CSDN_莫枫恋_新浪博客
- 小程序分包加载不同项目字体图标引用问题
- ATM跨行查询也开始收费了
- 默然说话20160329