Hadoop的安装配置

登录Hadoop官网（http://hadoop.apache.org/releases.html）
下载Hadoop 2.6.0安装包hadoop-2.6.0.tar.gz。然后解压至本地指定目录。

tar zxvf hadoop-2.6.0.tar.gz -C /usr/localln -s hadoop-2.6.0 hadoop

下面讲解Hadoop的配置。
1）打开/etc/profile，末尾加入：

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL

执行 **source /etc/profile**使其生效，
然后进入Hadoop配置目录：/usr/local/hadoop/etc/hadoop，

配置Hadoop。

2）配置hadoop_env.sh。

export JAVA_HOME=/usr/lib/jvm/java-1.7

3）配置core-site.xml。

<property><name>fs.defaultFS</name><value>hdfs://Master:9000</value></property><property><name>hadoop.tmp.dir</name><value>file:/root/bigdata/tmp</value></property>
<property><name>io.file.buffer.size</name><value>131702</value></property>

4）配置yarn-site.xml。

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>
<property><name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property><name>yarn.resourcemanager.address</name><value>Master:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name><value>Master:8030</value>
</property>
<property><name>yarn.resourcemanager.resource-tracker.address</name><value>Master:8031</value>
</property>
<property><name>yarn.resourcemanager.admin.address</name><value>Master:8033</value>
</property>
<property><name>yarn.resourcemanager.webapp.address</name><value>Master:8088</value>
</property>

5）配置mapred-site.xml。

<property><name>mapreduce.framework.name</name><value>yarn</value></property><property><name>mapreduce.jobhistory.address</name><value>Master:10020</value></property><property><name>mapreduce.jobhistory.webapp.address</name><value>Master:19888</value></property>

6）创建namenode和datanode目录，并配置路径。
① 创建目录。

mkdir -p /hdfs/namenodemkdir -p /hdfs/datanode

② 在hdfs-site.xml中配置路径。

<property><name>dfs.namenode.name.dir</name><value>file:/hdfs/namenode</value></property><property><name>dfs.datanode.data.dir</name><value>file:/hdfs/datanode</value></property><property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.secondary.http-address</name><value>Master:9001</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property>

7）配置slaves文件，在其中加入所有从节点主机名，例如：
x.x.x.x worker1
x.x.x.x worker2
……
8）格式化namenode：

/usr/local/hadoop/bin/hadoop namenode -format

至此，Hadoop配置过程基本完成。

Hadoop的安装配置相关推荐

linux hadoop etc目录,题目Linux平台下Hadoop的安装配置
1Linux平台下Hadoop的安装配置以下操作均是在虚拟机VWMare10.0平台上安装ubuntu12.04实现.首先要在ubuntu下穿件Hadoop用户. Ubuntulinux查看系统版本 ...
新的比较详细的hive安装教程，包含：hadoop的安装配置，hive安装详细教程，大数据下hive详细配置和简单使用和hive元数据迁移相关安装配置操作
简介:这是大数据里安装hive比较详细的教程,包括安装hive时hadoop的相关配置,hive安装,hive 之后的mysql安装,hive的元素配置到mysql相关配置,hive常见属性的相关配置 ...
2.Hadoop HDFS 安装配置
1.将hadoop包解压放到/opt/hadoop下 2.配置 2.1.进入hadoop目录 2.2.编辑hadoop.env.sh文件配置jdk环境变量 #vi etc/hadoop/hadoop ...
Hadoop HIVE 安装配置(单机集群)
hive配置只与mysql有关,会自动根据hadoop_home来找数据,所以不必配置相应的datanode和namenode,也不必管单机还是集群解析SQL语法,组装成一个mapreduce jo ...
Hadoop Hbase安装配置
数据库描述 Mysql sql,事务处理,增删改查, HIVE sql,数据仓库,存储和查询一般不修改,容量大(hdfs),计算能力强(mr) Hbase nosql,事务处理,增删改查 Hbase ...
Hadoop集群搭建（六：HBase的安装配置）
实验目的要求目的: 1.HBase的高可用完全分布模式的安装和验证要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: ...
开启hadoop之旅的大门–安装配置篇
by 三江小渡主要写了JDK配置和hadoop的安装配置.windows下安装也类似,只是需要一个windows模拟linux环境的软件Cygwin.不过在windows下安装JDK很方便了,就不用 ...
ndnsim r语言 ubuntu_Ubuntu14.04安装配置ndnSIM
Ubuntu14.04安装配置ndnSIM 预环境 Ubuntu14.04官方系统请先使用sudo apt-get update更新一下源列表安装步骤安装boost-lib sudo apt-g ...
Win8下安装配置Docker ToolBox并制作镜像配置Handoop集群
1.安装Docker ToolBox 参考1:https://www.cnblogs.com/weschen/p/6697926.html Oracle VirtualBox.Git和Kitema ...

Hadoop的安装配置

Hadoop的安装配置

配置Hadoop。

Hadoop的安装配置相关推荐

最新文章

热门文章