hadoop配置文件的加载机制

hadoop通过Configuration类来保存配置信息
1、通过Configuration.addResource()来加载配置文件
2、通过Configuration.get***()来获取配置属性

1、创建一个新的Configuration实例时，会加载core-default.xml与core-site.xml，若还有其它配置，则调用addResource()继续添加。
package org.jediael.hadoopdemo;

import org.apache.hadoop.conf.Configuration;

public class ConfigurationDemo {
   public static void main(String[] args){
       Configuration conf = new Configuration();
       //conf.addResource("/opt/jediael/hadoop-1.2.1/conf/core-site.xml");
       Configuration.addDefaultResource("mapred-default.xml");

       //System.out.println(conf.get("fs.default.name"));
       System.out.println(conf.get("hadoop.tmp.dir"));
       System.out.println(conf.get("io.sort.mb"));
   }
}
输出结果为：
www:Downloads liaoliuqing$ hadoop jar hdemo.jar org.jediael.hadoopdemo.ConfigurationDemo
hdfs://localhost:9000
/opt/tmp
null

2、可以通过Configuration.addDefaultResource（）加载CLASSPATH下的内容，主要用于加载hdfs-default.xml hdfs-site.xml mapred-default.xm mapred-site.xml

package org.jediael.hadoopdemo;

import org.apache.hadoop.conf.Configuration;

public class ConfigurationDemo {
   public static void main(String[] args){
       Configuration conf = new Configuration();
       //conf.addResource("/opt/jediael/hadoop-1.2.1/conf/core-site.xml");
       Configuration.addDefaultResource("mapred-default.xml");

       System.out.println(conf.get("fs.default.name"));
       System.out.println(conf.get("hadoop.tmp.dir"));
       System.out.println(conf.get("io.sort.mb"));
   }
}
输出结果为：
www:Downloads liaoliuqing$ hadoop jar hdemo.jar org.jediael.hadoopdemo.ConfigurationDemo
hdfs://localhost:9000
/opt/tmp
100

若color.xml位于$HADOOP_HOME/conf
package org.jediael.hadoopdemo;

import org.apache.hadoop.conf.Configuration;

public class ConfigurationDemo {
   public static void main(String[] args){
       Configuration conf = new Configuration();
       //conf.addResource("/opt/jediael/hadoop-1.2.1/conf/color.xml");
       Configuration.addDefaultResource("color.xml");
       Configuration.addDefaultResource("mapred-default.xml");

       System.out.println(conf.get("fs.default.name"));
       System.out.println(conf.get("hadoop.tmp.dir"));
       System.out.println(conf.get("io.sort.mb"));

       System.out.println(conf.get("color"));
   }
}
输出结果为：

www:Downloads liaoliuqing$ hadoop jar hdemo.jar org.jediael.hadoopdemo.ConfigurationDemo
hdfs://localhost:9000
/opt/tmp
100
yellow
若color.xml不位于$HADOOP_HOME/conf，则color的输出值为null。

3、conf.addResource（）与Configuration.addDefaultResource（）的区别

hadoop配置文件的加载机制相关推荐

hadoop配置文件加载机制
hadoop配置文件加载机制 @(HADOOP)[hadoop] hadoop通过Configuration类来保存配置信息 1.通过Configuration.addResource()来加载配置文 ...
Spring Boot 配置文件的加载优先级
1. 前言今天突发奇想,如果Spring Boot的配置文件同时存在application.properties和application.yaml,于是便测试了一波.结果测出来优先级的顺序为 pro ...
Spring中ApplicationContext加载机制和配置初始化
转自:http://liuwei1578.blog.163.com/blog/static/495803642007116111923195/ Spring中ApplicationContext加载机 ...
lombok中的@Data注解与MyBatis的懒加载机制冲突解决
使用@Data注解与mybatis的懒加载机制实现一对一关系查询时,发现怎么配置都无效,就是一下都查出来了,根本没有懒加载 1.application.yml配置文件配置如下: # mybatis 配 ...
Skywalking-13：Skywalking模块加载机制
模块加载机制基本概述 Module 是 Skywalking 在 OAP 提供的一种管理功能特性的机制.通过 Module 机制,可以方便的定义模块,并且可以提供多种实现,在配置文件中任意选择实现. ...
Mybatis懒加载机制
懒加载会按需要是否执行关联查询语句.如果用到了关联查询语句的信息,就需要执行关联查询,否则就只执行主查询 1.在mybatis的全局配置文件中加入两个属性: <settings><s ...
Spring的加载机制导致不同SpringBoot启动方式下@Value注解失效
问题参考链接:https://blog.csdn.net/u011958281/article/details/81531676 背景: 项目使用application.yml文件自定义参数,我在配置 ...
Node.js学习笔记——模块加载机制及npm指令详解
文章目录二.模块化 1.模块化的基本概念 2.Node.js 中的模块化 Node.js 中模块的分类加载模块 Node.js 中的模块作用域向外共享模块作用域中的成员 Node.js 中的模块 ...
Node.js（一、Node.js基础、模块加载机制、包等）
Node.js(一.Node.js基础.模块加载机制.包等) 1.Node.js基础 1.1.Node是什么 1.2.Node环境安装失败解决方法 1.2.1.Node环境搭建 1.2.2.错误代码2 ...

hadoop配置文件的加载机制

hadoop配置文件的加载机制相关推荐

最新文章

热门文章