hadoop单机环境搭建

#配置Java环境变量
export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_181.jdk/Contents/Home
#配合Hadoop home
export HADOOP_HOME=/Users/yangyijun/workspace/soft/hadoop
#设置Hadoop配置文件路径
export HADOOP_CONF_DIR=/Users/yangyijun/workspace/soft/hadoop/etc/hadoop
#配置Hadoop本地库地址
export HADOOP_COMMON_LIB_NATIVE_DIR=/Users/yangyijun/workspace/soft/hadoop/lib/native
export HADOOP_OPTS="-Djava.library.path=/Users/yangyijun/workspace/soft/hadoop/lib/native"-- core-site.xml
<property><name>fs.defaultFS</name><value>hdfs://localhost:8020</value>
</property>
<property><name>hadoop.tmp.dir</name><value>/Users/yangyijun/workspace/data/hadoop/tmp</value>
</property>--  hdfs-site.xml
<property><name>dfs.replication</name><value>1</value>
</property>
<property><name>dfs.namenode.name.dir</name>                               <value>/Users/yangyijun/workspace/data/hadoop/nn</value>
</property>
<property><name>dfs.datanode.data.dir</name>                       <value>/Users/yangyijun/workspace/data/hadoop/dn</value>
</property>
<property><name>dfs.permissions.enabled</name>                       <value>false</value>
</property>
<property><name>dfs.datanode.data.dir.perm</name>                       <value>750</value>
</property>-- mapred-site.xml
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>--  yarn-site.xml
<!-- 指定YARN的老大（ResourceManager）的地址 -->
<property><name>yarn.resourcemanager.hostname</name><value>localhost</value>
</property>
<!-- reducer获取数据的方式 -->
<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value>
</property>

hadoop单机环境搭建相关推荐

Hadoop单机环境搭建整体流程
1. Ubuntu环境安装和基本配置本例程中在MAC上安装使用的虚拟机Ubuntu系统(64位,desktop): 基本配置考虑到以后涉及到hadoop的应用便于权限的管理,特别地创建一个ha ...
大数据测试之hadoop单机环境搭建(超级详细版)
友情提示:本文超级长,请备好瓜子 Hadoop的运行模式
Hadoop集成环境搭建
Hadoop集成环境搭建一.准备工作首先,我们需要准备好Java和Hadoop的安装包,我这里使用的包名为:jdk-8u144-linux-x64.tar.gz 和 hadoop-2.8.0.ta ...
HBase单机环境搭建
HBase单机环境搭建转自:https://songlee24.github.io/2015/07/20/hbase-standalone-mode/ 在搭建HBase单机环境之前,首先你要保证你已 ...
搭建kafaka_kafka单机环境搭建及其基本使用
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
SRS流媒体服务器——单机环境搭建和源码目录介绍
SRS流媒体服务器--单机环境搭建和源码目录介绍 1. 目录环境搭建源码目录介绍 1. 环境搭建 srs官⽹:https://github.com/ossrs/srs 码云的源速度快:https: ...
单机搭建kafka集群本地_Kafka单机环境搭建简记
最近在搞kettle整合kafka producer插件,于是自己搭建了一套单机的kafka环境,以便用于测试.现整理如下的笔记,发上来和大家分享.后续还会有kafka的研究笔记,依然会与大家分享! ...
Linux系统 ELK(8.3.1)单机环境搭建
Linux系统下 ELK单机环境搭建,当前ELK版本8.3.1 安装前置,ELK环境需要使用非root用户运行 1.下载ELK包 2.解压安装 3.配置 1.配置启动Elasticsearch 2.配 ...
RocketMQ单机环境搭建
大家好,我是冰河~~ 今天,带来一篇搭建RocketMQ单机环境的文章,为后面的分布式事务专栏做准备.RocketMQ是阿里巴巴开源的一款高性能分布式消息中间件,有关RocketMQ的详细讲解,后面会 ...

hadoop单机环境搭建

hadoop单机环境搭建相关推荐

最新文章

热门文章