填坑之路——Hadoop分布式缓存

一、概念介绍

1、分布式缓存的理解：Hadoop为MapReduce框架提供的一种分布式缓存机制，它会将需要缓存的文件分发到各个执行任务的子节点的机器中，各个节点可以自行读取本地文件系统上的数据进行处理。

2、符号连接：在原本HDFS文件路径上加”#filename”来设置符号连接（这样写新API会默认创建符号连接，相当于一个快捷方式）

　　这样在MapReduce程序中可以直接通过：File file = new File("filename");来获得这个文件。

　要使用符号连接，需要检查是否启用了符号连接，通过 FileSystem.areSymlinksEnabled()的布尔返回值来确定。  如果未开启，使用 FileSystem.enableSymlinks()方法来开启符号连接。

二、使用1、添加分布式缓存：添加分布式缓存，将文件复制到任务节点

旧版本的DistributedCache已经被注解为过时，使用新的API来解决这个问题，如下：

不同文件类型的添加方法：job.addArchiveToClassPath(archive); // 缓存jar包到task运行节点的classpath中
job.addFileToClassPath(file); // 缓存普通文件到task运行节点的classpath中
job.addCacheArchive(uri); // 缓存压缩包文件到task运行节点的工作目录
job.addCacheFile(uri) // 缓存普通文件到task运行节点的工作目录

举个具体的例子：在main方法中，创建job时，添加需要使用到的缓存文件，如果需要使用第二个参数，URI参数那里可以不写hdfs://node:8020(举例)job.addCacheFile(new URI("/foo/bar//fileName.txt#fileName.txt"));//添加hdfs文件做缓存2、使用分布式缓存在Mapper类的setup方法中读取分布式缓存文件：Mapper类主要有4个方法：setup(),map(),cleanup(),run(),run()方法调用其它三个方法，顺序是：setup()-map()-cleanup。并且setup()执行且仅执行一次，主要用来为map()方法做一些准备工作，所以很多初始化的工作尽量放在这里做。Reducer类也是类似的。setup()方法实现示例如下：

 @Overrideprotected void setup(Context context) throws IOException, InterruptedException {super.setup(context);if (context.getCacheFiles() != null && context.getCacheFiles().length > 0) {            BufferedReader br = br = new BufferedReader(new InputStreamReader(new FileInputStream("fileName")));　　　　　　　　　　// 这里的fileName应该是上一步中 # 后面的名字，需要对应String line;while ((line = br.readLine()) != null) {String[] temp = line.split("\t");// 具体的处理逻辑}
                br.close();}}

参考：http://www.codeweblog.com/yarn-mapreduce-2-0-%E4%B8%8B%E5%88%86%E5%B8%83%E5%BC%8F%E7%BC%93%E5%AD%98-distributedcache-%E7%9A%84%E6%B3%A8%E6%84%8F%E4%BA%8B%E9%A1%B9/

转载于:https://www.cnblogs.com/loveling-0239/p/7884195.html

填坑之路——Hadoop分布式缓存相关推荐

hadoop 分布式缓存
Hadoop 分布式缓存实现目的是在所有的MapReduce调用一个统一的配置文件,首先将缓存文件放置在HDFS中,然后程序在执行的过程中会可以通过设定将文件下载到本地具体设定如下: public s ...
填坑之路！SpringBoot导包坑之spring-boot-starter-parent
填坑之路!SpringBoot导包坑之spring-boot-starter-parent 大誌 2018-11-14 21:03:25 104522 收藏 83 分类专栏: Bug 文章标签: Sp ...
Android Studio 3.0~3.x正式版填坑之路
序言总看别人的文章,今天尝试着自己来写一篇.在逛论坛时候,无意间发现Android Studio 3.0正式版本推送更新了,早听说AS 3.0添加了许多新功能,然后手贱迫不及待地想先睹为快,结果正中 ...
NIOS_II填坑之路——EPCS出现“Cannot open flash device”解决办法
读写EPCS出现"Cannot open flash device"的解决办法 SOPC填坑--第n天代码看了千万遍,Debug千万遍,alt_flash_open_dev(EP ...
一款车载GPS定位产品后端服务器架构的填坑之路(一）
文章名字取得有些唬人.这里说"架构"二字也是有些夸大,其实也就是实现一些简单的位置解析功能.数据存储等功能.整理出来,也只是给后来者一些借鉴.希望看到的能够去除糟粕,取其精华. 2 ...
微信小程序填坑之路其一：wx.request发送与服务端接受
一.序言应公司要求要求,要用小程序开发一个信息录入系统.没办法只能听话来填坑. 先介绍一下环境:客户端--小程序:服务端--java:数据库--mysql:服务器--centos7 需求:客户端输入 ...
H5嵌入原生开发小结----兼容安卓与ios的填坑之路
一开始听说开发H5,以为就是做适配现代浏览器的移动网页,心想不用管IE了,欧也.到今天,发现当初too young too simple,兼容IE和兼容安卓与IOS,后者让你更抓狂.接下来数一下踩过的 ...
html公共模块提取出去,webpack 填坑之路--提取独立文件(模块)
前言最近重新看了一遍 webpack 提取公共文件的配置.原来觉得这东西是个玄学,都是 "凭感觉" 配置.这篇文章将以解决实际开发遇到的问题为核心,悉数利用 webpack 提取 ...
Elasticsearch-2.3.x填坑之路
使用版本说明:2.3.2 强制不能使用root用户启动? 因为在2.x版本强调了安全性,防止attracker侵入root用户,所以建议使用者创建其他用户启动.当然,可以通过配置来实现root用户启动 ...

填坑之路——Hadoop分布式缓存

填坑之路——Hadoop分布式缓存相关推荐

最新文章

热门文章