MacOs Hadoop环境搭建 IDEA开发MapReduce程序及调试

2024-05-13 16:42:53

公司有个计算需求，由于不能通过连接公司的Hadoop集群进行本地编写MR程序进行调试

所以直接自己搭建一个本地Hadoop环境进行MR程序测试，然后再讲程序打包丢到公司Hadoop集群

别的不说，直接上干货

环境

操作系统：MacOS

开发环境：IDEA

步骤：

一、下载hadoop安装包:http://hadoop.apache.org/releases.html

公司目前使用2.6.5，为了避免版本上的麻烦，我也安装的2.6.5

点binary下载安装包

二、解压安装

将下载好的hadoop-2.6.5.tar.gz放在一个目录，比如"~/software/"

解压：tar -zxvf hadoop-2.6.5.tar.gz

在当前目录下生成：hadoop-2.6.5目录

三、配置

将目录切换到/software/hadoop-2.6.5/etc/hadoop下

1、在hadoop-env.sh中配置环境变量

添加：export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_162.jdk/Contents/Home

将 export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

改为

export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="

2、core-site.xml中添加配置临时文件目录和hdfs名字、端口

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/Users/某某/software/hadoop-2.6.5/tmp</value>

<description>A base for other temporary directories.</description>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://localhost:8088</value>

</property>

</configuration>

3、配置mapred-site.xml

如果没有该文件，需要复制一个cp mapred-site.xml.template mapred-site.xml

<property>

<name>mapred.job.tracker</name>

<value>localhost:8089</value>

</property>

4、配置hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

5、格式化namenode

cd software/hadoop-2.6.5/bin

./hdfs namenode --format

启动hadoop

cd software/hadoop-2.6.5/sbin

./start-all.sh

访问WebUI

http://localhost:50070/

下一篇将介绍如果编写一个MapReduce程序，并运行

WordCount Mapreduce详解

MacOs Hadoop环境搭建 IDEA开发MapReduce程序及调试相关推荐

windows环境下Eclipse开发MapReduce程序遇到的四个问题及解决办法
按此文章<Hadoop集群(第7期)_Eclipse开发环境设置>进行MapReduce开发环境搭建的过程中遇到一些问题,饶了一些弯路,解决办法记录在此: 文档目的: 记录windows环 ...
Hadoop环境搭建测试以及MapReduce实例实现
目录 1 任务 2 过程 2.1 熟悉常用的 Hadoop 命令 2.2 Hadoop环境搭建 1.SSH登录权限设置 2.安装Java环境 3.Hadoop的安装 4.伪分布式安装配置 2.3 Wo ...
Hadoop环境搭建教学(一)运行环境,集群规划介绍；
文章目录前言一.Hadoop的三种运行环境二.集群规划三.需要的基本软件安装下期见前言 Hadoop的运行环境可以是在Windows上,也可以在linux上,但在Windows上运行效率很 ...
GitChat·大数据 | 史上最详细的Hadoop环境搭建
GitChat 作者:鸣宇淳原文: 史上最详细的Hadoop环境搭建关注公众号:GitChat 技术杂谈,一本正经的讲技术 [不要错过文末彩蛋] 前言 Hadoop在大数据技术体系中的地位至关重要 ...
hadoop环境搭建（详解）
hadoop 环境搭建引言: 随着人工智能和大数据的热潮的到来,大数据变得越来越火了,坏蛋哥的信念就是致力于大数据的发展和进步,希望能为大数据的发展和推广尽一份绵薄之力.如果要做大数据,那么大数据相 ...
【菜鸟窝】Hadoop生态系统、Hadoop虚拟机环境准备、Hadoop环境搭建（含安装包和教程）
hadoop环境搭建视频:https://www.cniao5.com/course/lessons/10244 1.1Hadoop简介 1.1.1Hadoop的诞生 Hadoop是由Apache L ...
Hadoop环境搭建之zookeeper安装
Hadoop环境搭建一.预备知识 1.大数据导论 1.1 大数据概念大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决 ...
Hadoop环境搭建及常见问题解决（保姆级教程）
Hadoop环境搭建及常见问题解决零.资源准备一.环境准备 1. 安装虚拟机 2. 环境准备 1) 创建新用户xiaobai 2) 安装ssh-server 3) 上传相关资源 [4)] 使用pu ...
微信公众号开发(JAVA)-环境搭建与开发接入
使用JAVA开发微信公众平台(一)--环境搭建与开发接入一. 初始微信公众平台微信公众平台,即我们平时所说的"公众号",曾用名"官方平台"."媒体 ...

最新文章

热门文章