1.美图

2.概述

在使用 Flink 的生产实践中，我们发现采用 Flink on YARN 的部署方式时，将大量用户依赖的 JAR 包和其他文件上传到对应的容器中是从用户发送部署请求到应用实际运行起来的重要耗时操作。其中，不少文件例如 Flink 框架本身的依赖对于每个应用来说都是一样的，如果能采用一个统一的缓存将会显著减少所需上传的文件大小；此外，许多用户依赖的 JAR 包只在运行时需要，而这些依赖可能本身是存储在 YARN 集群上的，在提交之前先将依赖拉取下来再上传上去将会带来额外无谓的开销。本文首先介绍 YARN 上资源本地化的基础知识，随后介绍利用这一技术减少 Flink 在 YARN 上部署时间的几个具体工作

YARN 上的资源本地化

关于 YARN 上的资源本地化，Cloudera 的这篇文章是个很好的介绍，本节内容基本是链接文章的一个翻译和简单的演绎。

YARN 上的资源本地化主要涉及以下几个概念

本地化（Localization） - 本地化是一个将远端资

60-124-340-源码-运行模式-Yarn-通过 YARN 的资源本地化技术减少 Flink 在 YARN 上的部署时间相关推荐

ideal 本地jar依赖_通过 YARN 的资源本地化技术减少 Flink 在 YARN 上的部署时间
在使用 Flink 的生产实践中,我们发现采用 Flink on YARN 的部署方式时,将大量用户依赖的 JAR 包和其他文件上传到对应的容器中是从用户发送部署请求到应用实际运行起来的重要耗时操作. ...
airflow 源码调试之源码运行（一）
airflow 源码调试之源码运行(一) 开发环境 windows上的ubuntu16.0虚拟机 Python3.8 调试准备 Pycharm 配置远程连接主机配置使用远程主机Python解释器没 ...
博客园HTML源码运行特制js（原创自Zjmainstay）
canrun 测试运行HTML <html> <head><title>测试博客园HTML源码运行程序</title><meta http-equ ...
【Java 虚拟机原理】JDK 体系结构 | Java 源码运行原理 | Java 虚拟机内存
文章目录一.JDK 体系结构二.Java 源码运行原理三.Java 虚拟机内存结构一.JDK 体系结构 JDK 体系结构 : 下图所有的内容都是 JDK 体系中的组成元素 ; Java Lan ...
ckeditor源码编辑模式，添加style、javascript内容丢失的解决
ckeditor源码编辑模式,添加style.javascript内容丢失的解决我使用ckeditor 我在编辑的使用源码编辑,保存内容包含javascript.style标签的时候,数据库中有ja ...
《Android Studio开发实战从零基础到App上线》源码运行问题解答
本书提供了所有章节的完整源码下载,自上市以来陆续收到读者的意见反馈,现将与源码有关的问题汇总归类如下,方便更多的朋友解决源码运行过程中发现的问题: 一.打开本书源码时,出现"Plugin w ...
指标公式c语言源码下载,自用60分钟指标源码
好股票软件下载网(www.goodgupiao.com)提示:您正在下载的是:自用60分钟指标源码 60分钟主图源码 M4:MA(CLOSE,4),COLORWHITE; M10:MA(CLOSE,1 ...
Windows 源码运行 ThingsBoard
首先理一下ThingsBoard所需的环境: 1.jdk1.8 2.maven 3.PostgreSQL 4.nodejs && npm 5.redis 6.git 7.IDEA(源 ...
【TensorFlow】人脸识别OpenFace、Face-recognition、Insightface和FaceNet源码运行
比较人脸识别OpenFace.Face-recognition.Insightface: FaceNet源码运行 https://github.com/davidsandberg/facenet 1. ...

60-124-340-源码-运行模式-Yarn-通过 YARN 的资源本地化技术减少 Flink 在 YARN 上的部署时间

1.美图

2.概述

YARN 上的资源本地化

60-124-340-源码-运行模式-Yarn-通过 YARN 的资源本地化技术减少 Flink 在 YARN 上的部署时间相关推荐

最新文章

热门文章