HADOOP2单机版

2019独角兽企业重金招聘Python工程师标准>>>

Hadoop有三种模式单机模式、伪分布模式和完全分布模式
这里先简单介绍单机模式，默认情况下，Hadoop被配置成一个非分布式模式，独立运行JAVA进程，适合开始做调试工作。

Hadoop 网址http://hadoop.apache.org/ OSC地址 http://www.oschina.net/p/hadoop

下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.0.2-alpha/hadoop-2.0.2-alpha.tar.gz
下载的版本是hadoop-2.0.2-alpha

安装前确定java安装略

一、拷贝到/usr/local 解压 hadoop

1	cp hadoop-2.0.2-alpha.tar.gz /usr/local

2	cd /usr/local

3	tar -zxvf hadoop-2.0.2-alpha.tar.gz

目录结构和配置文件这里就省略（）

二、修改配置文件 hadoop-env.sh
Hadoop的配置文件都在 hadoop-2.0.2-alpha/etc/hadoop下，由于默认情况下是单机模式，一般不用做修改就可以直接做第三步测试实例，下面只是安装实际情况修改。

1、在hadoop中配置JAVA_HOME
默认的是export JAVA_HOME=${JAVA_HOME} 如果原来在环境变量中配置过，就可用使用默认的，不需修改

1	export JAVA_HOME=/opt/java

/opt/java 也就是jdk安装的路径

2、修改java虚拟机的类存
原来启动JVM时配置的最大内存是128m，当运行hadoop的一些自带的实例会报内存溢出，其实这里是可以修改内存大小
如果不需要也不必修改。
export HADOOP_CLIENT_OPTS="-Xmx128m $HADOOP_CLIENT_OPTS"

1	export HADOOP_CLIENT_OPTS="-Xmx512m $HADOOP_CLIENT_OPTS"

三、运行实例 Hello Hadoop

切换到该安装目录下，建立要上传到hadoop的两个文件 test1.txt、test2.txt

1	mkdir input

cd input

3	echo "hello world" > test1.txt

4	echo "hello hadoop" > test2.txt

cd ..

运行hadoop自带的wordcount实例可以统计一批文本文件中单词出现的次数

1	$bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output

bin/hadoop jar /usr/local/hadoop-2.0.2-alpha/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.0.2-alpha.jar wordcount input output

查看结果

1	$cat output/*

hadoop 1
hello 2
world 1

OK，Hadoop单机模式就OK了

转载于:https://my.oschina.net/u/181757/blog/167541

HADOOP2单机版相关推荐

Windows 10下编译安装Hadoop2.6
转自:https://www.linuxidc.com/Linux/2016-08/134131.htm Windows 10下安装Hadoop2.6,Windows10下编译64位Hadoop2.x ...
Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo
随笔 - 70 文章 - 0 评论 - 88 Linux上搭建Hadoop2.6.3集群以及WIN7通过Eclipse开发MapReduce的demo 近期为了分析国内航空旅游业常见安全漏洞,想到 ...
安装hadoop-2.3.0-cdh5.1.2全过程
工欲善其事,必先利其器,啥都不说,Hadoop下载:http://archive.cloudera.com/cdh5/cdh/5/ 选择好相应版本搞起,在本文讲述的是围绕hadoop-2.3.0- ...
Hadoop2.7.6在Windows7单机部署
安装参考:Hadoop2.7.4 在 Windows 10(64位) 详细配置安装参考:Windows7-8-10安装部署hadoop-2.7.5 1 配置jdk1.8 不要安装在空格的目录中,你会 ...
【Spark笔记】Windows10 本地搭建单机版Spark开发环境
0x00 环境及软件 1.系统环境 OS:Windows10_x64 专业版 2.所需软件或工具 JDK1.8.0_131 spark-2.3.0-bin-hadoop2.7.tgz hadoop-2 ...
HADOOP安装指南-Ubuntu15.10和hadoop2.7.2
Ubuntu15.10中安装hadoop2.7.2安装手册太初目录 1. Hadoop单点模式... 2 1.1 安装步骤... 2 0.环境和版本... 2 1.在ubu ...
单机版安装，伪分布式安装
单机版安装,伪分布式安装单机版安装:适合做一些调试,mapreduce调试(debug),实际开发中不用伪分布式安装:在一台服务器上模拟出来多台服务器的效果(模拟多服务的启动方式) 官网地址单机 ...
Spark2.1.0安装与配置（单机版）
Spark2.1.0安装与配置(单机版) B站同步视频:Spark2.1.0安装与配置(单机版) 前言该安装教程是承接Spark源码编译B站教程所制,因此所使用的安装包是在Spark源码编译教程中得 ...
Windows安装HBase2.0.0（单机版）
Windows安装HBase2.0.0(单机版) 说明准备工作配置windows hosts文件,配置服务器IP和名称查看HBase和hadoop版本对照关系下载安装jdk1.8+ 下载安装 ...

HADOOP2单机版

HADOOP2单机版相关推荐

最新文章

热门文章