如何迁移 Flink 任务到实时计算
简介:本文由阿里巴巴技术专家景丽宁(砚田)分享,主要介绍如何迁移Flink任务到实时计算 Flink 中来。
作者 | 景丽宁(砚田),阿里巴巴技术专家景丽宁(砚田)
本文由阿里巴巴技术专家景丽宁(砚田)分享,主要介绍如何迁移Flink任务到实时计算 Flink 中来。内容主要分为以下几部分:
- 如何迁移
- 多 jar
- 配置文件
- state 复用
通常用户在线下主要使用 Flink run,这会造成一些问题,比如:同一个配置因版本而变化;无法快速切换不同版本;无法从之前的作业恢复。
那么如何从线下迁移到线上呢?本文将通过下面四部分来向大家介绍。
一、如何迁移:从 Flink run 到流计算平台
如下图的线下命令如何迁移到线上。首先打开 VVP UI,添加基础配置,主要包括:作业名称、Jar URI、一些主要参数和并行度。还可以点击高级配置,配置更多信息。
比如高级配置里的行为配置,分为三部分:升级策略、初始状态和恢复策略。升级策略一般选择Stateless,初始状态选择Running,恢复策略选择Latest State。
升级策略选择Stateless,表示针对已经在运行的作业,编辑并保存配置后,会直接把原作业停掉,然后重新启动一个更新的作业;选择Stateble,针对正在运行的作业做配置编辑并保存的话,作业会先做一次Savepoint,然后加载新的配置并使用该 Savepoint启动新的作业。
恢复策略选择LatestSavepoint,是指作业在暂停情况下,如果再启动,将使用最新的Savepoint启动。
上面介绍的是 Flink 配置中比较重要的部分,下面图片显示的是另外一部分可以设置Checkpoint间隔等的配置,接下来是资源配置。日志配置部分可以选择日志保存位置,方便日后如果作业出现问题,可以方便的排查问题。
Flink 作业配置完成并启动运行后,如果出现异常,可以通过运行事件查看运行情况和问题。也可以打开 Flink UI的Job Manager,查看日志情况。
二、多Jar情况下,用户如何添加其他依赖的Jar
一些用户有自定义依赖且无法通过 fat jar 解决问题。举个例子,A用户有自己的main Jar和一些其他的Jar,这些Jar的应用场景不一样,那么首先需要在资源管理页面上传Jar包,上传完成之后就可以在页面使用该文件。
上传后再到高级配置中,找到“额外依赖的Jar”,下拉并选择刚刚上传的Jar 包就可以了。
三、用户如何通过配置文件定义作业
在资源管理里上传文件,然后在高级配置里选添加依赖,选择需要的依赖。如果启动函数里,main class是需要读取某个文件,先通过依赖添加文件,然后再根据提示的方式读取文件。
以上两个方式是放置用户Jar的方式,jar 和其他文件都可以在这里存放。
四、如何复用原来的state加速作业恢复
如果在运行作业时发现问题,一般情况下是停下来然后找到问题修复后再重启。用户需要在创建的时候指定 Checkpoint 需要的 OSS。 如果开启了Checkpoint,后续作业就可以直接从Checkpoint中恢复。
首先确认高级配置中恢复策略选择LatestState或LatestSavepoint。在这个前提下,可以暂停作业(千万不要停止作业),暂停会触发Savepoint,当再次点击启动时,会从这次Savepoint点恢复。
打开 Flink UI ,然后点击作业快照,在作业快照中可以查看 Flink Checkpoint指标,里面会显示Restore的次数和最后一次Restore的地址等信息,可确定作业是从最新的 State 恢复。
当作业正在运行,想对当前作业进项拷贝,如何操作呢?在作业控制页面点击Checkpoint,找到历史快照并点击其对应的最右侧的“从该快照复制作业”,那么就完成了把当前作业复制的操作,复制内容包括正在运行作业的Jar 包配置等。点击启动后,可以从作业快照中查看到新作业是从上个作业最近的一次Savepoint中复制启动的。
原文链接:https://developer.aliyun.com/article/781175?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
如何迁移 Flink 任务到实时计算相关推荐
- Oceanus:基于Apache Flink的一站式实时计算平台
Flink Forward是由Apache官方授权,用于介绍Flink社区的最新动态.发展计划以及Flink相关的生产实践经验的会议.2018年12月20日,Flink Forward首次来到中国举办 ...
- Flink大数据实时计算系列-案例初体验:HotPages
Flink大数据实时计算系列-案例初体验:HotPages 目录 HotPages代码 输入日志 运行结果 HotPages代码 /*** Copyright (c) 2018-2028 尚硅谷 Al ...
- Flink大数据实时计算系列-Flink的Operator Chains的优化机制
Flink大数据实时计算系列-Flink的Operator Chains的优化机制 目录 Flink改变并行度 并行度改为3 并行度改为2 Flink Operator Chains Flink gr ...
- Flink大数据实时计算系列-Flink写出多个parquet小文件处理方法、Presto的介绍与使用场景
Flink大数据实时计算系列-Flink写出多个parquet小文件处理方法.Presto的介绍与使用场景 Presto的安装与使用 目录 Flink写出多个parquet小文件处理方法 Presto ...
- Flink大数据实时计算系列-列式存储parquet文件格式介绍、Flink进行rowformat格式文件保存
Flink大数据实时计算系列-列式存储parquet文件格式介绍 Flink进行rowformat格式文件保存 列式存储parquet文件格式介绍
- Flink大数据实时计算系列-Flink的processFunction TimerService的基础用法
Flink大数据实时计算系列-Flink的processFunction TimerService的基础用法 目录 Flink的processFunction TimerService的基础用法 Fl ...
- Flink大数据实时计算系列-Flink的Keyed Windows 对比 Non-Keyed Windows的区别
Flink大数据实时计算系列-Flink的Keyed Windows 对比 Non-Keyed Windows的区别 目录 Flink的Keyed Windows 对比 Non-Keyed Windo ...
- Flink大数据实时计算系列-Flink的Sliding Windows使用
Flink大数据实时计算系列-Flink的Sliding Windows使用 目录 Flink的Sliding Windows使用 Flink参考链接 Flink系列博客 Flink的Sliding ...
- Flink大数据实时计算系列-Flink窗口如何处理延时数据
Flink大数据实时计算系列-Flink窗口如何处理延时数据 目录 Flink窗口如何处理延时数据 allowedLateness延迟触发 sideOutputLateData 延时分流器 Flink ...
最新文章
- Linux中listen()系统调用的backlog参数分析
- 文本框字符串长度实时统计jQuery插件,兼容IE6+
- mongoDB入门必读(概念与实战并重)
- [Echarts可视化] 二.php和ajax连接数据库实现动态数据可视化
- 资深大牛推荐学习路线建议
- 二叉搜索时与双向链表python_【剑指offer】26 二叉搜索树与双向链表
- 国外html游戏发展历史,17个国外游戏行业的网页设计欣赏
- 搜狗Q1每天进账1886万,输入法日处理6亿请求成中国最大语音App
- 天线工程手册_胆大心细 专业敬业——记FPSO改装MV30项目球形天线组装工程
- Java实例化类的几种方法
- ACM之java速成
- 海康相机IP搜索协议研究
- imdisk虚拟光驱安装linux,imdisk使用教程_Imdisk工具使用方法介绍_imdisk_imdisk虚拟光驱...
- 一、Python-简介
- 打击感在动作游戏中如何实现?【战斗篇】
- Dubbo:Dubbo服务发现
- 移动端测试=== adb 无线连接手机
- python:kiva贷款数据
- 7个可用手机写博客的地方
- 转:windows.DNS.如何用自己的服务器做 DNS 域名解析,如何创建域名服务器?
热门文章
- docker 限制容器日志大小
- CTO问:WebSocket 是啥玩意?
- 直接用IP访问知乎,我发现了一个秘密···
- linux集群管理平台,基于Linux平台的高可用集群管理系统的研究与实现
- php中有size_t函数吗,lSize 命令/方法/函数
- 在没有任何数据时进行无效的读取尝试。_技术转载——JVM运行时内存是怎么分布的?...
- ymodem协议c语言,STC单片机ISP-Demo-使用Y-Modem协议源码与库函数分享
- js数组中的引用类型
- CentOS下安装Hbase
- 顺序容器----顺序容器概述,容器库概览