在hadoop中伪分布式部署的命令与步骤
HDFS是进行存储的，YARN是进行调度的。
第一步先切换到hadoop下面的etc（配置文件都在etc下面）
命令：cd /etc
然后在hadoop中配置core-site.xml
命令：Vi core-site.xml 进入后把下面的代码粘贴进去
指定HDFS中namenode的地址。将命令放到configuration标签中
<configuration>
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop100:9820</value>
</property>
<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.3/data/tmp</value>
</property>
</configuration>
第二步：在hadoop中配置hdfs-site.xml
命令：vi hdfs-site.xml 下面的是代码
在configuration中指定HDFS的数量
<configuration>
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
第四步：格式化NameNode（第一次启动时格式化，以后就不要总格式化）
格式化命令：hdfs namenode –format
第六步：启动namenode
命令：hdfs - -daemon start namenode
第七步：启动datanode
命令：hdfs --daemon start datanode
第八步：配置yarn-site.xml
命令：vi yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- Reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name> <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>
第九步：配置mapred-site.xml
命令：[root@hadoop100 hadoop]# vi mapred-site.xml
<configuration>
<!-- 指定MR运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
第十步：启动resourcemanager
命令：[root@hadoop100 hadoop]# yarn --daemon start resourcemanager
十一步：启动nodemanager
命令：[root@hadoop100 hadoop]# yarn --daemon start nodemanager
十二步：Jsp查看java进程
命令：jsp
十三步：在HDFS中创建文件夹/user/input
命令：hdfs dfs -mkdir -p /user/input
十四步：将文件上传到HDFS
命令：hdfs dfs –put 要上传的文件名 上传的地址
案例: hdfs dfs -put wcinput/wc.input /user/input/
十五步：查看hdfs的文件目录
命令：Hdfs dfs –ls 文件路径
注意，这里面的根目录不是linux的根目录
案例：hdfs dfs -ls /user/input/
十六步：查看hdfs中文件内容
命令：hdfs dfs –cat 文件名
案例：hdfs dfs -cat /user/input/wc.inpu
最后执行文件
命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount
在hadoop中伪分布式部署的命令与步骤相关推荐
- 胖虎的Hadoop笔记——Hadoop的伪分布式部署
胖虎的Hadoop笔记--Hadoop的伪分布式部署 本博客用于Hadoop大数据企业课笔记记录.第三步 一.VMware安装和创建虚拟机 1.VMware安装 安装包下载:https://pan.b ...
- Hadoop1 Centos伪分布式部署
前言: 毕业两年了,之前的工作一直没有接触过大数据的东西,对hadoop等比较陌生,所以最近开始学习了.对于我这样第一次学的人,过程还是充满了很多疑惑和不解的,不过我采取的策略是还是先让环 ...
- day70-大数据之Hadoop部署1(单机部署与伪分布式部署)
大数据基础平台实施及运维 一.大数据介绍 学习目标 能够了解为什么使用大数据技术 能够了解大数据指的是什么 1. 为什么使用大数据技术? 数据量越来越大 数据分析的实时性越来越强 数据结果的应用越来越 ...
- Hadoop伪分布式部署及常用操作
hadoop伪分布式部署 之前有做过hadoop 2.x的部署,现在再做一下hadoop 3.x的部署. hadoop有三个组件:hdfs用来存储数据,mapreduce 用来计算(作业) ,yarn ...
- hadoop3.1伪分布式部署
1.环境准备 系统版本:CentOS7.5 主机名:node01 hadoop3.1 的下载地址: http://mirror.bit.edu.cn/apache/hadoop/common/hado ...
- 【Hadoop】伪分布式安装---MapReduce程序运行到YARN上，编写MapReduce程序---HDFS yarn
在我的虚拟机(Linux)上安装的Hadoop是2.7.3版本的,安装过程可以参考这个网站,也可以下载. http://hadoop.apache.org/docs/r2.7.6/hadoop-pro ...
- hadoop搭建伪分布式集群（centos7+hadoop-3.1.1）
原文地址:https://www.cnblogs.com/zhengna/p/9316424.html Hadoop三种安装模式 搭建伪分布式集群准备条件 第一部分 安装前部署 1.查看虚拟机版本 2 ...
- 手把手教你搭建Hadoop生态系统伪分布式集群
Hello,我是 Alex 007,一个热爱计算机编程和硬件设计的小白,为啥是007呢?因为叫 Alex 的人太多了,再加上每天007的生活,Alex 007就诞生了. 手把手教你搭建Hadoop生态 ...
- Hadoop单机伪分布式安装(完整版)
在学习Hadoop时,我发现网上的各种安装的资料要不不全,要不前后不匹配(比如有的是伪分布式,有的是完全分布式).此篇文章,我总结了身边的同学在安装Hadoop时遇到的毛病,在前面安装配置环节,尽可能 ...
最新文章
- Java多线程 - 控制线程
- linux下安装 QQ(wine qq 2013-2014)
- Win7中的文件关联注册表
- java jsp总结
- std::make_unique＜T＞和std::make_shared＜T＞
- Redis：复制，第1部分——概述 复制与分片、哨兵与集群、Redis拓扑
- Python基础（四）函数
- 小程序入门学习12--云函数与数据库01
- 中心点 unity_32-Unity入门学习11「UI锚点与自适应」
- 安装 Dubbo 管理控制台
- Floyd算法实现实际问题——18个城市间最优路线规划
- 计算机仿真撤稿,LOL云顶之弈11.5天神裁决天使阵容攻略 新版本裁决天使运营思路...
- 预防颈椎病之颈椎保健操图解--超有效
- 6-3 读文章(*)
- 神武2手游服务器等级限制影响,《神武2》手游开放新等级!不再为修炼等级操心...
- Android之重写与重载
- MySQL数据库之数据库约束，一文带你了解
- es查询所欲_elasticsearch之查询的两种方式
- Linux杂项(001) - ext4magic文件恢复
- 一起走过的日子坚守十年