linux hadoop测试,快速搭建Hadoop环境并测试mapreduce
目标:
安装测试本地单机Hadoop。
花费时间:10分钟
前提:
java环境已经准备好
hadoop有三种运行方式,单机版包括直接本地运行,假多点环境,多点集群环境。本文测试第一种方法,快速部署hadoop应用。
开始:
下载
wget http://labs.renren.com/apache-mirror/hadoop/common/hadoop-1.0.3/hadoop-1.0.3.tar.gz
60MB大小
解压
tar -zxvf hadoop-1.0.3.tar.gz
配置
[www.linuxidc.com@Hadoop48 ~]$ echo $JAVA_HOME
/usr/java/jdk1.7.0
cd hadoop-1.0.3
[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ vi conf/hadoop-env.sh
#将注释去掉,设置JAVA_HOME环境变量
export JAVA_HOME=/usr/java/jdk1.7.0
测试:
[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ ./bin/hadoop
Usage: hadoop [--config confdir] COMMAND
…
执行例子程序中的grep
[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ mkdir input
[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ cp conf/* input
[www.linuxidc.com@Hadoop48 hadoop-1.0.3]$ ./bin/hadoop jar hadoop-examples-1.0.3.jar grep input output ‘[a-z.]+’
12/05/22 18:03:32 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/05/22 18:03:32 WARN snappy.LoadSnappy: Snappy native library not loaded
…
[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ cat output/*
117 value
99 property
91 name
88 description
85 the
77 of
…
测试mapreduce 例子wordcount,单词计数:
[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ rm -r output
[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ ./bin/hadoop jar hadoop-examples-1.0.3.jar wordcount input output
12/05/22 18:32:54 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/05/22 18:32:55 INFO input.FileInputFormat: Total input paths to process : 16
…
12/05/22 18:33:47 INFO mapred.JobClient: Map output records=2587
[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$
可以看到花费将近1分钟计算单词数
[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ ls output/
part-r-00000 _SUCCESS
[www.linuxidc.com@Hadoop46 hadoop-1.0.3]$ cat output/*
“”. 4
“*” 10
“alice,bob 10
“console” 1
“hadoop.root.logger”. 1
“jks”. 4
…
which 17
who 3
will 8
with 5
worker 1
would 7
xmlns:xsl=”http://www.w3.org/1999/XSL/Transform” 1
you 1
10分钟内完成。
linux hadoop测试,快速搭建Hadoop环境并测试mapreduce相关推荐
- 重装Ubuntu(Linux)后快速搭建工作环境(深度学习环境)
文章目录 准备 一.安装Filezilla 二.安装显卡驱动 1. 前期准备 2. 禁用nouveau 3.安装驱动 三.安装gnome-pannel 四.安装搜狗输入法 1. 下载搜狗输入法的安装包 ...
- 快速搭建LAMP环境
快速搭建LAMP环境 Linux+Apache+MySQL+PHP一组常用来搭建动态网站或者服务器的开源软件,本身都是各自独立的程序,但是因为常被放在一起使用,拥有了越来越高的兼容度,共同组成了一个强 ...
- 基于阿里云ECS弹性云服务器快速搭建Docker环境
基于ECS快速搭建Docker环境 什么是docker? Docker 是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也 ...
- 阿里云服务器如何快速搭建Docker环境
本教程介绍如何使用阿里云服务器快速搭建Docker环境,并使用Docker部署一个Nginx服务. 步骤一:安装Docker CE Docker有两个分支版本:Docker CE和Docker EE, ...
- DWcs6+AppServ快速搭建PHP环境
DWcs6+AppServ快速搭建PHP环境 需要下载的软件 1.AppServ AppServ 是 PHP 网页架站工具组合包,作者将一些网络上免费的架站资源重新包装成单一的安装程序,以方便初学者 ...
- 【Mysql】通过 docker 快速搭建 mysql 环境
[Mysql]通过 docker 快速搭建 mysql 环境 1.方式一:查找Docker Hub上的mysql镜像 获取镜像 docker pull mysql:5.6 创建目录 mkdir mys ...
- windows和Linux利用Python快速搭建一个网站
windows和Linux利用Python快速搭建一个网站 一.windows 步骤1:安装Python3(自行百度) 步骤2:在cmd窗口输入ipconfig查看本机ip地址,IPV4那一行.如:1 ...
- Android开发实战一之搭建开发环境-附测试实例(已亲测)
使用JDK.Android SDK.Eclipse + ADT搭建开发环境 附测试实例 (已亲测) ----------------------------------------- ...
- 快速搭建Web环境 Angularjs + Express3 + Bootstrap3
2019独角兽企业重金招聘Python工程师标准>>> 快速搭建Web环境 Angularjs + Express3 + Bootstrap3 AngularJS体验式编程系列文章, ...
最新文章
- 791. Custom Sort String
- Spring Boot基础学习笔记04:Spring Boot加载自定义配置文件
- Entityframework core 动态添加模型实体
- C# 本质论 第二章 数据类型
- java获取结果集_Java-如何获取结果集上的列名
- 采用AOP 的观点来 Log 所有方法的调用
- 万恶的WIN10,已有的VirftualBox虚拟机都不能用了
- 浅谈Java新手入门书籍选择
- 《疯狂java讲义》第17章 网络编程
- 北京房租大涨?Python帮你揭穿真相
- Linux动态库依赖其它动态库的问题
- 钉钉ppt放映显示备注_PPT的备注怎么用,放映PPT时如何显示备注 来看看吧
- 女生被逼疯的日记(课余篇)
- 世界有时特别吝啬【摘自《青年文摘》】
- win7 删除java_windows7系统卸载java的操作方法?
- vue Uncaught (in promise) TypeError: Cannot read properties of undefined (reading ‘comcode‘)
- delphi function 与 procedure
- AMI POST Code含义
- 鲁迅同心版全集二十卷目录摘抄
- 网络通信误码率测试软件,DMR终端直通模式误码率测试软件的设计与实现