hadoop 伪分布模式
学习hadoop有一个星期了,先是看了看书,hadoop权威指南,很不错的入门级教材。
书的内容偏向于基础原理,多读几遍会收获很多。
本人菜鸟一只,为了把自己的学习心得分享给大家,就在此开始记录一下,希望大神们批评指点,好吧,主题开始:
hadoop 伪分布模式
操作系统:Centos6.2
JDK:jdk1.6.0_30
hadoop版本:hadoop-0.20.203.0
--建议不在root下操作,可以新建hadoop用户和组
1.安装JDK环境
--在/usr/java/目录下解压并安装,安装好之后配置一下环境变量PATH
--vi或者gedit /etc/profile 在最后添加java环境
----export JAVA_HOME=/usr/java/jdk1.6.0_30
----export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
----export PATH=$PATH:$JAVA_HOME/bin
--环境配置好之后,在终端里输入java -version ,出现版本信息则表示成功,否则可能是环境路径配置有误,请仔细检查。
2.ssh验证配置
--Hadoop 需要使用SSH 协议,namenode 将使用SSH 协议启动 namenode和datanode 进程,伪分布式模式数据节点和名称节点均是本身,必须配置 SSH localhost验证。
--验证步骤有提示就按回车
----$ssh-keygen -t rsa
有提示就按回车 然后通过命令行cd .ssh进入目录 执行下面的命令,就会设置好无密码登录了
----$cat id_rsa.pub > authorized_keys
3.host主机的设置
127.0.0.1 localhost.localdomain localhost
::1 localhost6.localhostdomain6 localhost6
127.0.0.1 namenode datanode01
4.hadoop安装与配置
--在用户目录下解压hadoop并进行配置
----在conf目下找到hadoop-env.sh,打开编辑器添加下面的jdk安装路径
#set java env
export JAVA_HOME=/usr/java/jdk1.6.0_30
--/conf/配置core-site.xml
<property>
<name>fs.default.name</name>
<value>hdfs://namenode:9000/</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/hadooptmp</value>
</property>
-- 配置hdfs-site.xml
<property>
<name>dfs.name.dir</name>
<value>/home/hadoop/hdfs/name</value>
</property>
<property>
<name>dfs.data.dir</name>
<value>/home/hadoop/hdfs/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
--配置mapred-site.xml
<property>
<name>mapred.job.tracker</name>
<value>namenode:9001</value>
</property>
--配置master,slaves文件
vi master 内容修改为 namenode
vi slaves 内容修改为 datanode01
hadoop伪分布模式算是基本配置好,然后测试一下吧
hadoop namenoede -format 格式化一下
./start-all.sh 启动所有守护进程
然后jps一下 会看到下面的内容
6179 JobTracker
6296 TaskTracker
6367 Jps
5883 NameNode
6002 DataNode
6111 SecondaryNameNode
这样才算是真正跑起来了
大家快来试试吧!
文章比较简略,我也是配置了大半天才成功,现在正在研究Hbase+Hive,就写到这吧。
转载于:https://blog.51cto.com/mygirl721/831596
hadoop 伪分布模式相关推荐
- Linux环境搭建Hadoop伪分布模式
Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Lin ...
- 大数据2 Hadoop伪分布模式配置部署
为什么80%的码农都做不了架构师?>>> Hadoop伪分布模式配置部署 一.实验环境说明 注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登 ...
- Hadoop伪分布模式安装
Hadoop伪分布模式安装 Hadoop的运行模式分为3种: 本地运行模式,伪分布运行模式,完全分布运行模式. (1)本地模式(local mode) 这种运行模式在一台单机上运行,没有HDFS分布式 ...
- Linux下部署Hadoop伪分布模式
Hadoop版本为1.2.1 Distribution为Fedora19并使用hadoop账号安装 第一步:配置ssh本地登录证书(虽然为伪分布模式,Hadoop依然会使用SSH进行通信) [hado ...
- 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式
阅读目录 概要 章节1:安装java 1.6 章节2:设置ssh无密码登录 章节3:Hadoop的安装(在Hadoop用户下) 章节4:配置Hadoop相关配置文件 章节5:Hadoop启动 章节6: ...
- Spark Standalone 伪分布模式安装
伪分布模式是基于Standalone模式来实现的,所以也叫Standalone伪分布模式.Spark在生产环节中,主要部署在安装linux系统的集群中.在linux系统中安装Spark需要先安装JDK ...
- Hadoop学习之以伪分布模式部署Hadoop及常见问题
Hadoop既可以以单机模式运行,也可以以伪分布模式运行,这两种模式都是为了使用者方便学习和调试Hadoop,要想发挥Hadoop分布式.并行处理的优势,还须以分布式模式来部署运行Hadoop.单机模 ...
- SUSE上搭建Hadoop环境(单机模式+伪分布模式)
为什么80%的码农都做不了架构师?>>> [环境]: 经常遭遇因为依赖软件版本不匹配导致的问题,这次大意了,以为java问题不大,就用本来通过yast安装的java1.6 op ...
- linux做伪分布时ip设置,Linux下伪分布模式的Hadoop部署
伪分布模式也是在一台单机上运行,但用不同的 Java 进程模仿分布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker, Secondary ...
最新文章
- WIN7下,联想A30T通过USB连接上网
- 如何启动linux上的svn服务
- vue-vue项目中mock.js的使用
- 一句话总结贝叶斯分类器
- 简单的HBase实践
- 深度学习-Tensorflow2.2-图像处理{10}-图像语义分割-23
- 网件使用计算机mac地址吗,找回网件R7000消失的无线MAC过滤功能
- Mybatis怎么能看是否执行了sql语句
- PHP lareal_怎么样能在mysql里结合php的函数
- 7年,我从功能测试到测试开发,写给即将进入或者正在做测试的你...
- CSS块元素与内联元素(转)
- (转)虚拟货币交易所时代结束
- Selenium实现网页自动签到的Python脚本-win11
- 计算机重复文件的快捷键是,excel重复上一个操作的快捷键是什么
- C# HttpClientHelper
- Grid++Report报表开发工具介绍
- python二次函数_python数据分析之曲线拟合:二次函数拟合
- 人力资源管理案例-左右为难的经理
- OA系统,全方位满足各行业办公需求
- TcaplusDB君 · 行业新闻汇编(12月20号)