Hadoop(三)-Hadoop文件配置
一、修改hadoop的配置文件(五个)
• 修改hadoop-env.sh
• 修改core-site.xml
<configuration>
<!--用来指定HDFS的老大(NameNode)的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--用来指定Hadoop运行时产生文件存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>/master/hadoop-2.6.4/tmp</value>
</property>
</configuration>
• 修改hdfs-site.xml
<configuration>
<!--指定HDFS存储数据副本的数量-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
• 修改mapred-site.xml(mv mapred-site.xml.template mapred-site.xml)
<configuration>
<--告诉Hadoop以后MR运行在YARN上
<property>
<name>papreduce.framework.name</name>
<value>yarn</value>
</property>
• yarn-site.xml
<configuration>
<!--NodeManager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--指定yarn的老大(ResourceManager)的地址-->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
二、配置Hadoop环境变量并启动
1. 把Hadoop中的bin添加到环境变量中，使得在任何地方都能运行
刷新匹配值source /etc/profile
2.初始化HDFS（格式化文件系统）
这个所说过时了，但可以用，当然了现在用这个命令，它已经归类到hdfs下了
3.启动HDFS和YARN
先启动HDFS
sbin/start-dfs.sh
再启动YARN
sbin/start-yarn.sh
Hadoop(三)-Hadoop文件配置相关推荐
- Python +大数据-hadoop生态-hadoop(三)--Hadoop HDFS
Python +大数据-hadoop生态-hadoop(三)–Hadoop HDFS 今日课程学习目标 理解分布式文件存储的概念与实现 掌握HDFS分块存储.副本机制等特性 学会shell操作HDFS ...
- hadoop fs命令无法使用_「大数据」「Hadoop」HDFS的配置与管理
HDFS(Hadoop Distributed File System)是Hadoop三个基础组件之一,为另外的组件以及大数据生态中的其他组件提供了最基本的存储功能,具有高容错.高可靠.可扩展.高吞吐 ...
- 【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- Hadoop三种安装模式
2019独角兽企业重金招聘Python工程师标准>>> Hadoop三种安装模式:单机模式,伪分布式,真正分布式 一 单机模式standalone 单机模式是Hadoop的默认模式. ...
- [转载]hadoop集群默认配置和常用配置
转载自 http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html, 向原作者致谢. 我基于最新版hadoop, 稍作了修改. 获 ...
- hadoop三个配置文件的参数含义说明
1 获取默认配置 配置hadoop,主要是配置core-site.xml,hdfs-site.xml,mapred-site.xml三个配置文件,默认下来,这些配置文件都是空的,所以很难知 ...
- hadoop的安装与配置（伪分布式模式安装）
最近偶然在研究hadoop看完网络上的配置文章居然在linux下安装成功的hadoop就把别人的文章进行说明一下,提供给需要的读者. hadoop 的安装分为本地模式.伪分布模式.集群模式.本地模式是 ...
- hadoop ubantu环境搭建_Ubuntu16.04 下 hadoop的安装与配置（伪分布式环境）
一.准备 1.1创建hadoop用户 $ sudo useradd -m hadoop -s /bin/bash #创建hadoop用户,并使用/bin/bash作为shell $ sudo pass ...
- Hadoop(三)MapReduce
一,概述 Hadoop MapReduce是一个可以轻松编写应用程序的软件框架,可靠,容错,在大型集群(数千节点)的商用硬件上并行处理大量数据(多TB级别的数据). MapReduce是Hadoop的 ...
最新文章
- 用户配置，用户组管理，用户管理
- Python自动化开发之基础篇--Day1
- 分布式电子邮件系统设计--转载
- 2019春季季节跳动招聘笔试（回忆版）第二题
- Delphi组件开发-在窗体标题栏添加按钮
- nodejs全局安装和本地安装的区别
- iOS之UI--涂鸦画板实例 （有待更新）
- mysql中需要提交的操作_MySQL常用操作及基础知识
- jmeter存储http请求返回参数_Jmeter接口测试之HTTP请求默认值（八）
- 语音合成 文字转语音
- Map与WeakMap
- python用什么来写模块-用cython来写python的c模块
- python requests示例_Python3中requests库学习01（常见请求示例）
- tableau参数_Tableau-参数的设置方法
- Linux能运行哪些行业软件,盘点支持Linux的经典Windows软件
- 2021-08-08在ubuntu上部署nideshop
- java中的方法重载
- Jspreadsheet v4：JavaScript 电子表格
- 毕业设计网站项目的开发流程
- 企查查之seleium自动化操作