单节点集群模式(a Single Node Cluster)又称伪分布模式,只需一个节点即可运行。这种模式一般只是用来学习或者开发、测试使用。实际使用中还是使用多节点的分布式。

1、环境变量配置

为了方便的执行Hadoop程序,需要配置很多系统环境变量。主要有以下几个变量

设置HADOOP_HOME为Hadoop的安装路径

export HADOOP_HOME=/home/hduser/hadoop

设置将hadoop添加到PATH,上文中已经介绍过hadoop的运行文件在bin和sbin目录下,通过设置PATH后,我们可以在任何位置执行hadoop命令。

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin

设置hadoop其他环境变量

export HADOOP_MAPRED_HOME=$HADOOP_HOME

export HADOOP_COMMON_HOME=$HADOOP_HOME

export HADOOP_HDFS_HOME=$HADOOP_HOME

export YARN_HOME=$HADOOP_HOME

链接库的相关设置

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME

export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

与配置Jdk的系统环境变量方法一致,我们只需将需要配置的系统变量添加到用户主目录下的.bashrc文件中即可。打开Ubuntu虚拟机,然后打开Xshell连接登陆到虚拟机,在用户主目录下执行命令 vim .bashrc

在新的框体中输入i进入编辑模式,然后在文件末尾输入下述内容

按esc退出编辑模式,输入:wq保存并退出

命令行中输入 source .bashrc命令更新一下系统环境变量

更新完成后我们可以通过echo $HADOOP_HOME测试系统变量是否添加成功,如下图所示表明已经成功。

Hadoop 默认模式为非分布式模式(本地模式),无需进行其他配置即可运行。非分布式即单 Java 进程,方便进行调试。在此我们可以在本地模式下运行部分Hadoop自带MapReduce例子来验证Hadoop能够正常运行,同时体验Hadoop中MapReduce运行命令格式。在命令行中输入

cd hadoop/ #进入Hadoop安装文件目录

mkdir ./input #在hadoop文件夹下创建输入文件

cp ./etc/hadoop/*.xml ./input #将配置文件作为输入文件

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+' #运行MapReduce中grep例子,筛选符合正则表达式dfs[a-z]+的单词并统计其出现的次数,并将结果放入output文件夹中,关于正则表达式更多内容,参见附录三:正则表达式速查表格

cat ./output/* #查看运行结果

删除创建的文件使用以下命令

rm -r ./output

rm -r ./input

Hadoop 还可以在单节点上以伪分布式的方式运行,此时Hadoop 进程以分离的 Java 进程来运行,节点既作为NameNode 也作为 DataNode,同时读取的是 HDFS 中的文件。这种模式需要修改相应的配置文件,我们将会在下文中进行详细讲解。

ubuntu java环境变量_hadoop:伪分布模式环境变量的配置相关推荐

  1. Linux环境搭建Hadoop伪分布模式

    Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Lin ...

  2. 大数据2 Hadoop伪分布模式配置部署

    为什么80%的码农都做不了架构师?>>>    Hadoop伪分布模式配置部署 一.实验环境说明 注意:本实验需要按照上一节单机模式部署后继续进行操作 1. 环境登录 无需密码自动登 ...

  3. 【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式

    阅读目录 概要 章节1:安装java 1.6 章节2:设置ssh无密码登录 章节3:Hadoop的安装(在Hadoop用户下) 章节4:配置Hadoop相关配置文件 章节5:Hadoop启动 章节6: ...

  4. JAVA大数据(一)简介-Hadoop环境配置,伪分布式模式架构学习用

    文章目录 1.课前资料 2.课程整体介绍 3.大数据介绍 什么是大数据? 为什么要学习大数据? 大数据相关技术 海量数据存储 海量数据清洗 海量数据处理 4.集群环境准备 4.1准备虚拟机 4.2修改 ...

  5. SUSE上搭建Hadoop环境(单机模式+伪分布模式)

    为什么80%的码农都做不了架构师?>>>    [环境]: 经常遭遇因为依赖软件版本不匹配导致的问题,这次大意了,以为java问题不大,就用本来通过yast安装的java1.6 op ...

  6. ubuntu eclipse java_搭建Ubuntu Java Eclipse开发环境

    搭建环境:Ubuntu 16.04 ×64 1.搭建jdk1.8运行环境 1.1.下载jdk1.8 使用的版本:jdk-8u121-linux-x64.tar.gz 1.2.安装jdk1.8 STEP ...

  7. Ubuntu切换到root用户无法找到环境变量PATH的问题

    Ubuntu切换到root用户无法找到环境变量PATH的问题 ubuntu切换到root用户下通常使用的命令是: su root su是切换用户存取权限,但是没有获取环境变量: 因此,这样切换到roo ...

  8. 【最新版】Win10 Java jdk14.0.2安装及环境变量配置

    1.下载安装 下载地址:https://www.oracle.com/java/technologies/javase-jdk14-downloads.html,根据提示进行安装,记住安装路径,这里路 ...

  9. java se环境变量设置_JavaSE中环境变量的配置

    在说Java中环境变量配置之前,还是先说说JDK和JRE吧. JRE(Java Runtime Environment),即Java的运行环境.主要包括JVM(Java Virtual Machine ...

最新文章

  1. ajax csv写文件内容,接收.csv文件作为ajax成功函数中的数据
  2. Windows~KinectV2开发
  3. ASP excel导出/导入Access数据库(代码+实例下载)
  4. Linux 访问文件的acl信息,linux文件权限管理与ACL访问控制列表
  5. ejb的maven_针对新手的Java EE7和Maven项目-第3部分-定义ejb服务和jpa实体模块
  6. 为什么说容器的崛起预示着云原生时代到来?
  7. 利用oc门或od门实现线与_福师《数字逻辑》在线作业二答案
  8. 迁移学习1——基于深度学习和迁移学习的识花实践
  9. java foreach 赋值_java foreach 使用
  10. Ueditor编辑器 .Net 版
  11. 弘辽科技:淘宝旧链接如何打新品标?有什么规则?
  12. 麒麟KY-RTI分布仿真技术:第一章 简介
  13. 数据是怎么在mysql中存储_数据是如何存入数据库中的
  14. 7.2 异常处理(Exception Handing)
  15. Redux的工作流程
  16. solidworks2014可否保存成以前版本?--问题解决
  17. 饼图加引导线_【如何在饼形图中添加引导线(Excel)】excle里面一条竖状线
  18. node.js中公培训笔记大全(讲的一般,小白基础入门)
  19. 深刻理解空间(线性空间,度量空间,赋范空间,线性赋范空间,内积空间,巴拿赫空间以及希尔伯特空间)
  20. 累计投放贷款1000亿,马云是如何做银行的?

热门文章

  1. 前端小白程序员入门之前知道这些,半年后都拿到8K+的offer
  2. 什么是闭包?闭包的优缺点?
  3. 第3章:Hadoop分布式文件系统(1)
  4. PHP一阶段 html+css+js 练习题汇总
  5. 部署Docker前必须问自己的四个问题
  6. iOS开发实践之网络检測Reachability
  7. android openGL ES2 一切从绘制纹理開始
  8. Cache-Control的一些认识
  9. phpcmsv9全站搜索,不限模型
  10. 为RedHat系统安装发布版的PostgreSQL数据库