hadoop集群下安装及配置hama

一、简介：
hama是基于BSP(BulkSynchronous Parallel)计算技术的并行计算框架，用于大量的科学计算。
二、Hama 的下载安装
1、下载网址：
http://archive.apache.org/dist/hama/
2、通过FlashFXP 文件传输助手连接虚拟机，将hama压缩文件上传到虚拟机的自定义目录下（例如我上传到home/hadoop/downloads/路径下）
3、在自定义目录下进行解压

#:cd ~
#:cd  /home/hadoop/downloads
`#:tar -zxvf 文件名

三、解压后修改名字及配置环境
一、修改解压后的文件名

 mv 原文件名  hama

 二、配置环境

1、修改hama-env.sh：
在Hama中进入conf文件夹，修改hama-env.sh文件，在其中加入Java的home 路径（jdk的路径）

 vi hama-env.sh

export JAVA_HOME=/usr/lib/jvm/jdk

2、修改hama-site.xml,这是hama配置的核心文件
在Hama中进入conf文件夹，修改hama-site.xml文件

 vi hama-site.xml

在中加入以下代码，是本地就配置为local，即将value中的内容分别改为local，local，localhost

   <configuration><property><name>bsp.master.address</name><value>local</value><description>The address of the bsp master server. Either theliteral string "local" or a host:port for distributed mode</description></property><property><name>fs.default.name</name><value>local</value><description>The name of the default file system. Either the literal string"local" or a host:port for HDFS.</description></property><property><name>hama.zookeeper.quorum</name><value>localhost</value><description>Comma separated list of servers in the ZooKeeper Quorum.For example, "host1.mydomain.com,host2.mydomain.com,host3.mydomain.com".By default this is set to localhost for local and pseudo-distributed modesof operation. For a fully-distributed setup, this should be set to a fulllist of ZooKeeper quorum servers. If HAMA_MANAGES_ZK is set in hama-env.shthis is the list of servers which we will start/stop zookeeper on.</description></property></configuration>

四、Hama的一个使用案例
1、在hama路径下生成randomgraph

 cd /home/hadoop/downloads/hama

2、在hama的bin/hama/下，进行jar jia 文件名，生成的文件位于hama 下的randomgraph。他表示100个节点，1000条边的数据存储在两个文件中

  .bin/hama jar hama-exmaples-0.7.0.jar gen fastgen -v 100 -e 10 -o randomgrapg -t 2

3、执行pagerank，结果保存在pagerankresult文件中

./bin/hama/jar hama-xeamples-0.7.0.jarpagerank -i randomgraph -o pagerankresult -t 4

hadoop集群下安装及配置hama相关推荐

[Hadoop集群模式安装与配置全过程]红帽子RatHat6下hadoop集群模式安装（3个节点，master,slave1,slave2）
红帽子RatHat6下hadoop集群模式安装(3个节点,master,slave1,slave2) 一.学习目标: 使用红帽子RatHat6在虚拟机上搭建hadoop集群,包含3个节点,体验集群分布 ...
学习笔记Hadoop（七）—— Hadoop集群的安装与部署（4）—— 配置Hadoop集群
四.配置Hadoop集群 Hadoop集群总体规划 Hadoop集群安装采用下面步骤: 在Master节点:上传并解压Hadoop安装包 . 在Master节点:配置Hadoop所需configura ...
学习笔记Hadoop（五）—— Hadoop集群的安装与部署（2）—— Hadoop集群部署模式、配置固定IP
一.Hadoop集群部署模式 Hadoop的安装部署的模式一共有三种: 独立模式(本地模式) standalone 默认的模式,无需运行任何守护进程(daemon),所有程序都在单个JVM上执行.由于 ...
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
Hadoop集群_Hadoop安装配置
1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesy ...
学习笔记Hadoop（八）—— Hadoop集群的安装与部署（5）—— Hadoop配置参数介绍、Hadoop集群启动与监控
五.Hadoop配置参数介绍 Hadoop集群配置文件主要有: 它们的默认参数配置可以看: core-default.xml :https://hadoop.apache.org/docs/stabl ...
虚拟机Centos系统下hadoop集群中静态IP配置
为了学习大数据,然后想在自己的电脑的虚拟机上搭建hadoop集群,搭建了一段时间,我才发现CentOS系统的静态IP设置是十分有必要的.我的hadoop集群只有两个节点,一个master,另一个是sl ...
Hadoop集群分布式安装
先创建三台linux的虚拟机先创建三台linux的虚拟机+ 先删除linux自带的,在安装自己环江所需要的jdk 命令:rpm -qa | grep -i java | xargs -n1 rpm ...
Hadoop集群的安装
4.1 HADOOP集群搭建 4.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据的存储,集群中的角色主 ...
Hadoop集群搭建安装教程（续集）高可用（HA）
针对Hadoop集群的高可用环境,研究搭建方式,根据相关资料和教程以及自己实际操作,整理步骤如下. 集群规划节点运行角色 node1 namenode.zkfc.zookeeper.journal ...

hadoop集群下安装及配置hama

export JAVA_HOME=/usr/lib/jvm/jdk

hadoop集群下安装及配置hama相关推荐

最新文章

热门文章