hadoop jps 没有命令_hadoop：伪分布模式启动步骤分解

1、格式化HDFS

在运行伪分布式前，需先对NameNode进行格式化，在命令行中输入

hdfs namenode -format          # 格式化hdfs

若出现successfully formatted字样，则说明格式化成功

2、启动hadoop

然后启动hadoop集群

start-all.sh # 一次性启动所有服务

或使用以下命令单独启动各项服务

start-dfs.sh      #启动hdfs

start-yarn.sh     #启动mapreduce框架yarn

利用jps命令查看是否启动成功，如果出现下述进程，则证明启动成功

Jps

运行后显示有如下进程。

启动完成后，我们可使用Web端口检测集群运行情况，建议使用360或Chrome浏览器。

查看ResourceManager Web界面：

打开主机浏览器，然后输入下述网址：http://192.168.1.618:8088，在该界面我们能查看集群任务运行情况

NameNode HDFS Web界面

打开主机浏览器，然后输入下述网址：http://192.168.152.128:50070，在该界面我们能查看集群hdfs基本运行情况

3、测试运行

接下来，我们仍以grep为例测试其在伪分布式上运行情况。和单机模式不同，伪分布式运行时默认读取hdfs上文件，同时也会将输出结果保存在hdfs上，因此我们要提前在hdfs上创建文件夹，更多关于hdfs的操作会在下文介绍

3.1、HDFS基本操作指令

由于伪分布式运行时，数据从HDFS上进行读取，在上传数据至HDFS之前，我们需要在HDFS中创建用户目录。

hdfs dfs -mkdir -p /user/hduser

接着，我们选取hadoop配置文件夹中的xml文件作为输入文件复制到HDFS系统中。

hdfs dfs -mkdir input

cd ~/hadoop

hdfs dfs -put ./etc/hadoop/*.xml input

查看HDFS中文件

hdfs dfs -ls input

3.2、运行grep例子

伪分布式运行 MapReduce 作业的方式跟单机模式相同，只是读取文件和输出文件保存均在HDFS中。

运行过程中可在8088端口查看mapreduce任务运行情况

运行完成后如下所示

查看保存在HDFS中的运行结果

hdfs dfs -cat output/*

当然，我们也可进一步将结果取回本地

cd ~/hadoop

rm -r ./output # 先删除本地的 output 文件夹(如果存在)

hdfs dfs -get output ./output # 将 HDFS 上的 output 文件夹拷贝到本机

cat ./output/*  #查看所有文件

到这里hadoop伪分布的安装启动就介绍完成了。伪分布的优点是在一台计算机上也可以使用Hadoop命令；缺点也是显而易见的发挥不了Hadoop设计初衷--分布式存储与分布式计算。

在下文中我将给大家介绍多节点的分布式集群搭建教程。

hadoop jps 没有命令_hadoop：伪分布模式启动步骤分解相关推荐

[Hadoop] mac搭建hadoop3.X 伪分布模式
目录一 Homebrew安装二 SSH免密登录配置三 Hadoop安装四伪分布式配置 a.hadoop-env.sh配置 b.core-site.xml配置 c.hdfs-site.xml配 ...
SUSE上搭建Hadoop环境（单机模式+伪分布模式）
为什么80%的码农都做不了架构师?>>> [环境]: 经常遭遇因为依赖软件版本不匹配导致的问题,这次大意了,以为java问题不大,就用本来通过yast安装的java1.6 op ...
hadoop和hdfs命令_Hadoop 1.x和2.x HDFS基本开发人员命令，“ hadoop”命令
hadoop和hdfs命令 In this post, we are going to discuss about Hadoop 1.x and Hadoop 2.x HDFS Basic comma ...
hadoop jps 没有命令_【问题解决方案】之 hadoop 用jps命令后缺少namenode的问题
SqlServer--聚合函数 --聚合函数默认把整个表中的数据当做"一组",然后才进行的统计. select * from NewPerson --统计出所有人的年龄的总和 se ...
linux做伪分布时ip设置,Linux下伪分布模式的Hadoop部署
伪分布模式也是在一台单机上运行,但用不同的 Java 进程模仿分布式运行中的各类结点 ( NameNode, DataNode, JobTracker, TaskTracker, Secondary ...
hadoop1.2.1伪分布模式配置
1.修改core-site.xml,配置hdfs 1 <configuration> 2 <property> 3 <name>fs.default.name< ...
hadoop: hbase1.0.1.1 伪分布安装
环境:hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3 安装步骤: 一.下载解压到官网 http://hbase.apache.org ...
Linux环境搭建Hadoop伪分布模式
Hadoop有三种分布模式:单机模式.伪分布.全分布模式,相比于其他两种,伪分布是最适合初学者开发学习使用的,可以了解Hadoop的运行原理,是最好的选择.接下来,就开始部署环境. 首先要安装好Lin ...
hadoop 伪分布模式
学习hadoop有一个星期了,先是看了看书,hadoop权威指南,很不错的入门级教材. 书的内容偏向于基础原理,多读几遍会收获很多. 本人菜鸟一只,为了把自己的学习心得分享给大家,就在此开始记录一下, ...
【Hadoop环境搭建】Centos6.8搭建hadoop伪分布模式
阅读目录概要章节1:安装java 1.6 章节2:设置ssh无密码登录章节3:Hadoop的安装(在Hadoop用户下) 章节4:配置Hadoop相关配置文件章节5:Hadoop启动章节6: ...

hadoop jps 没有命令_hadoop：伪分布模式启动步骤分解

hadoop jps 没有命令_hadoop：伪分布模式启动步骤分解相关推荐

最新文章

热门文章