ubuntu下安装配置hadoop

hadoop框架

Hadoop使用主/从（Master/Slave）架构，主要角色有NameNode，DataNode，secondary NameNode，JobTracker，TaskTracker组成。

其中NameNode，secondary NameNode，JobTracker运行在Master节点上，DataNode和TaskTracker运行在Slave节点上。

1，NameNode

NameNode是HDFS的守护程序，负责记录文件是如何分割成数据块的，以及这些数据块被存储到哪些数据节点上。它的功能是对内存及I/O进行集中管理。

2，DataNode

集群中每个从服务器都运行一个DataNode后台程序，后台程序负责把HDFS数据块读写到本地文件系统。需要读写数据时，由NameNode告诉客户端去哪个DataNode进行具体的读写操作。

3，Secondary NameNode

Secondary NameNode是一个用来监控HDFS状态的辅助后台程序，如果NameNode发生问题，可以使用Secondary NameNode作为备用的NameNode。

4，JobTracker

JobTracker后台程序用来连接应用程序与Hadoop，用户应用提交到集群后，由JobTracker决定哪个文件处理哪个task执行，一旦某个task失败，JobTracker会自动开启这个task。

4，TaskTracker

TaskTracker负责存储数据的DataNode相结合，位于从节点，负责各自的task。

hadoop的安装

1）安装SSH

sudo apt-get install ssh

2）安装java

3）安装hadoop

下载并解压缩

tar -zxvf hadoop-0.21.0.tar.gz

4）改变配置

指定java安装路径

使用vi

vi conf/hadoop-env.sh

添加

export JAVA_HOME = /usr/java/jdk1.7.0_01

可以使用三种模式安装，测试阶段可以使用单机模式。

在启动的时候可能会遇到很多问题，比如 22 connection refused

可以安装openssh，使用apt-get

sudo apt-get install openssh-client

sudo apt-get install openssh-server

sudo apt-get install chkconfig

使用chkconfig --list | grep sshd查看服务是否启动

使用ssh localhost

出现如下提示

输入密码后

出现欢迎页面，配置成功

免密码登录

ssh-keygen -t rsa

进入.ssh目录

执行

cp id_rsa.pub authorized_keys

重新ssh localhost，可以不输入密码

单机伪分布式：

进入目录/hadoop/conf

编辑 ~/hadoop/conf/core-site.xml

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/tmp/hadoop/hadoop-${user.name}</value>

</property>

</configuration>

编辑  ~/hadoop/conf/hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

编辑 ~/hadoop/conf/mapred-site.xml

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

然后进入hadoop/bin目录

执行 ./hadoop namenode -format

执行start-all.sh

启动完成

打开浏览器，输入http://localhost:50030

就可以看到如下界面

运行示例 bin/hadoop jar hadoop-mapred-examples-0.21.0.jar wordcount in out

得到输出结果，配置成功！

安装eclipse插件

插件的路径在0.21下有所更改，路径如下

将插件拷到eclipse pluglin目录下

重启eclipse

启动后多出一个目录

就可以使用eclipse进行编程了。

hadoop使用：

hadoop使用（一）
hadoop使用（二）
hadoop使用（三）
hadoop使用（四）
hadoop使用（五）
hadoop使用（六）

hbase实战：

hbase实战——（1.1 nosql介绍）

ubuntu下安装配置hadoop相关推荐

Ubuntu下安装配置Hadoop独立模式和伪分布式
2019独角兽企业重金招聘Python工程师标准>>> 初学hadoop,在网上找到一篇不错教程,亲试可用,配置无障碍,原文链接http://blog.csdn.net/hitwen ...
Ubuntu下安装配置Open×××
Ubuntu下安装配置Open××× 时间:2009-02-11 21:03来源:http://www.kklinux.com 作者:看看Linux 点击:2664次 1. 安装 Ubuntu中安装O ...
Linux环境下安装配置Hadoop教程
Linux环境下安装配置Hadoop教程在Linux环境下,安装配置Hadoop教程. 准备工作 1.VMware虚拟机 2.Linux环境:CentOS 7 3.远程登陆:Xshell 6 &am ...
openni linux arm,Ubuntu下安装配置OpenNI实战笔记
1. 库OpenNI SensorKinect NITE的安装 (1)OpenNI step1 :下载 OpenNI库文件选择"OpenNI Binaries"->&quo ...
Ubuntu下安装配置VNC远程工具
现在Linux是非常火的很多人喜欢用它,界面简单,操作容易,有很多图形化工具如WinSCP可以与Ubuntu进行文件的上传的与下载,Xshell就是如同控制ubuntu的终端一样,简单方便,不过要 ...
FreeBSD下安装配置Hadoop集群(性能调优)
hadoop的性能调优是个比较艰难的事情,由于这个系统的整个环境比较复杂,对于接触时间不长的人来说,配置都很难,更别说找出性能优化的点了. 性能优化涉及的方面很广,操作系统,网络配置,配置文件,调度器 ...
redhat6.下安装配置hadoop环境--单实例版本
redhat6.4下(用作hadoop master :记录所有数据分布情况--namenode)--安装单实例计算机 1.修改hostname [root@hadoop01 ]# vim /etc/ ...
Ubuntu下安装配置java及环境变量
这里的办法不是在线安装,因为需要更新源(你懂的,费时费事~),so这里介绍在Ubuntu上手动下载安装配置Java环境变量 *系统:Ubuntu 16.4 1.下载jdk,直接用系统的Firefox浏 ...
Ubuntu下安装配置TAU分析mpich和openmp程序性能
目录 1. 安装MPICH 2. 安装JAVA环境 3. 下载TAU(及PDT) 4. 提取并配置安装 4.1 使用图形化界面安装 4.2 使用终端直接配置 5. 配置Vs Code或直接使用终端编译 ...

ubuntu下安装配置hadoop

ubuntu下安装配置hadoop相关推荐

最新文章

热门文章