阿里云Blink介绍
阿里云Blink产品介绍
产品公告
2021年4月28日-独享模式暂停新购
实时计算Flink版独享模式已于2021年4月28日暂停新购，目前仅支持原有项目的扩缩容和续费操作。如果您有新购需求，推荐使用实时计算Flink全托管。
产品概述
阿里云实时计算Flink版独享/共享集群（原产品线）支持共享模式和独享模式两种产品模式。独享模式是基于共享模式的补充，具备更加丰富的功能。
共享模式（已停购）
不同用户共享计算集群的物理资源（网络、磁盘、CPU或内存等），通过账号管理、CGroup（Control Groups）等方式进行资源隔离和安全管理。基于账号安全、业务安全和数据安全方面的考虑，共享模式不提供自定义函数功能。
说明 实时计算共享模式已于2019年12月24日正式下线，不再支持共享模式新项目的购买，仅支持原有项目的扩缩容、续费操作。如果您有新购需求，推荐使用实时计算独享模式或Flink半托管模式。
独享模式
独享模式是指在阿里云云服务器ECS（Elastic Compute Service）上单独为用户创建的独立计算集群。单个用户独享计算集群的物理资源（网络、磁盘、CPU或内存等），与其它用户的资源完全独立。与共享模式相比，独享模式具有以下优点：
- 多种硬件均可适配
- 用户间的隔离
- 支持自定义函数
- 丰富的功能
独享模式系统网络架构
实时计算独享模式为全托管模式。
发展历程
阿里云实时计算在原有Flink系统基础上，提供一整套的开发平台和完整的流式数据处理业务流程。
- 起源：脱胎于双十一实时大屏业务
- 萌芽：以开源Flink作为基础
- 发展：基于Flink的API开发
- 成熟：Flink SQL开发完成
业务流程
业务流程简介
实时计算业务流程系统架构图如下。
数据采集
广义的实时数据采集，是指使用流式数据采集工具，将数据实时地采集并传输到大数据Pub/Sub（发布订阅）系统。Pub/Sub系统将为下游实时计算提供源源不断的事件源，触发流式计算作业的运行。阿里云大数据生态提供了针对不同场景领域的流式数据Pub/Sub系统。阿里云实时计算天然集成上图中诸多的Pub/Sub系统，能够集成各类流式数据。
说明 例如，您可以直接使用实时计算对接日志服务（LogService）的LogHub系统，快速的集成并使用ECS日志。
流式计算
流数据作为实时计算的触发源，驱动实时计算运行。一个实时计算作业至少使用一个流数据作为数据源。对于复杂的业务场景，实时计算支持和静态数据存储进行关联查询。
说明 例如，针对DataHub流式数据，实时计算可以根据流式数据的主键，和RDS中数据进行关联查询（即JOIN查询）。
实时集成
阿里云实时计算可以将计算的结果数据直接写入目的数据存储。阿里云实时计算天然集成了OLTP（例如RDS）、NoSQL（例如OTS）、OLAP（例如ADB）、MessageQueue（例如DataHub、ONS）、MassiveStorage（例如OSS、MaxCompute）等阿里云生态系统，最大程度地降低全链路数据的时延和数据链路的复杂度，保证数据加工的实时性。
数据消费
流式计算的结果数据进入各类数据存储后，您可以运用个性化的应用，操控结果数据。例如使用数据存储系统访问数据，使用消息投递系统接受信息，或使用告警系统生成异常结果数据警报。
数据链路
部分阿里云生态外部数据存储不能和实时计算系统完全匹配，需要使用其它类型流数据进行转换。
DataHub
DataHub提供了多类数据（如日志、数据库BinLog、IoT数据流等）上传到DataHub的工具、界面，以及开源、商业软件的集成。
LogService
日志服务（LogService）是针对日志类数据的一站式服务。LogService提供了诸多针对日志的采集、消费、投递、查询分析等功能。
IoTHub
阿里云物联网平台（IoTHub）是能够帮助开发者搭建安全的数据通道，方便终端（如传感器、执行器、嵌入式设备或智能家电等等）和云端的双向通信。使用IoTHub规则引擎，可以将IoT数据方便投递到DataHub，并利用实时计算和MaxCompute进行数据加工计算。
DTS
数据传输（DTS）支持以数据库为核心的结构化存储产品之间的数据传输。DTS是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务。使用DTS的数据传输功能，可以方便您将RDS等BinLog解析并投递到DataHub，并利用实时计算和MaxCompute进行数据加工计算。
MQ
阿里云MQ服务是一套完整的消息云服务。阿里云MQ服务基于高可用分布式集群技术，搭建了包括发布订阅、消息轨迹、资源统计、定时（延时）、监控报警等功能。
支持的上下游存储
实时计算支持丰富的上下游生态。
- 数据源表
- 创建Oracle数据库源表
- 创建数据总线DataHub源表
- 创建日志服务SLS源表
- 创建交互式分析Hologres源表
- 创建消息队列MQ源表
- 创建消息队列Kafka源表
- 创建表格存储Tablestore源表
- 创建全量MaxCompute源表
- 创建增量MaxCompute源表
- 数据结果表
- 创建云原生数据仓库AnalyticDB MySQL版2.0结果表
- 创建交互式分析Hologres结果表
- 创建Oracle数据库结果表
- 创建数据总线DataHub结果表
- 创建日志服务SLS结果表
- 创建消息队列MQ结果表
- 创建表格存储Tablestore结果表
- 创建云数据库RDS版结果表
- 创建MaxCompute结果表
- 创建云数据库HBase版结果表
- 创建Elasticsearch结果表
- 创建时序数据库结果表
- 创建消息队列Kafka结果表
- 创建云数据库HybridDB for MySQL结果表
- 创建云数据库RDS SQL Server版结果表
- 创建云数据库Redis版结果表
- 创建云数据库MongoDB版结果表
- 创建云原生数据仓库AnalyticDB MySQL版3.0结果表
- 创建分析型数据库PostgreSQL版结果表
- 创建自定义结果表
- 创建InfluxDB结果表
- 创建Phoenix5结果表
- 数据维表
- 创建交互式分析Hologres维表
- 创建表格存储Tablestore维表
- 创建云数据库RDS版维表
- 创建云数据库HBase版维表
- 创建MaxCompute维表
- 创建云数据库Redis维表
- 创建Phoenix5维表
- 创建分析型数据库MySQL版3.0维表
- 创建Elasticsearch维表
使用限制
CU处理能力
实时计算当前在内部压测场景下，一个CU的处理能力估算如下：
- 简单业务：例如单流过滤、字符串变换等操作，1CU每秒可以处理10000条数据。
- 复杂业务：例如JOIN、窗口、GROUP BY等操作，1CU每秒可以处理1000到5000条数据。
作业、任务数量限制
实时计算对整个项目（Project）下属的作业、Task版本、IDE打开Task页面数量均有不同限制。包括：
- 单个项目下允许最多创建作业的个数为100。
- 单个项目下允许最多的文件夹的个数为50，层级最大不超过5层。
- 单个项目下允许最多的UDX或JAR个数为50。
- 单个项目下允许最多注册数据存储的个数为50。
- 单个作业允许最多的历史保存版本数为20。
产品定价
计量项
实时计算的基本计量单位为Compute Unit（CU），即计算资源，1CU=1核CPU+4 GB内存。CU对应实时计算底层系统的CPU计算能力。
1个实时计算作业（Job）的CU使用量取决于此Job输入数据流的QPS、计算复杂程度，以及具体的输入数据分布情况。实时计算1CU的处理能力可以通过以下方式估算：
- 简单业务：1CU每秒可以处理10000条数据。例如，单流过滤、字符串变换等操作。
- 复杂业务：1CU每秒可以处理1000至5000条数据。例如，JOIN、GROUP BY或窗口函数等操作。
说明
- 上述计算能力估值仅限于实时计算内部处理能力，不包括对外数据读取和写入部分。外部数据的读写效率会影响您对实时计算能力的评估，示例如下：
- 如果实时计算需要从日志服务（Log Service）读取数据，但LogService对于请求调用配额（Quota）存在一定限制，则实时计算整体的计算能力将被限制在LogService允许的范围内。
- 如果实时计算引用的RDS数据存储存在连接数或者TPS限制，则实时计算吞吐能力将受限于RDS本身的流控限制。
- 如果作业中使用窗口函数，CU的使用量会比简单作业高，建议至少购买4CU。
计费方式
注意
- 包年包月到期后请及时续费，如果未及时续费，到期7天后您的实例会被释放。
共享模式（已停购）
说明 实时计算共享模式已于2019年12月24日正式下线。
根据CU数进行计费，每个CU每天的价格是6元人民币。例如，您购买10CU，使用1个月（假设当月天数为30天）的费用为1800元人民币。实时计算共享模式的最小起售单位为2CU每天。
独享模式包年包月（已停购）
说明 独享模式包年包月已于2021年4月28日暂停新购。
独享模式包年包月根据购买的机型及数量进行计费，各机型单价如下。
| 机型（Master/Slave） | 价格（单位：元/月） |
|---|---|
| 4核16GB | 850 |
| 8核32GB | 1450 |
| 16核64GB | 2710 |
| 24核96GB | 3950 |
| 32核128GB | 5180 |
| 56核224GB | 8780 |
| 64核256GB | 9950 |
规格选择
背景介绍
独享模式集群相当于一个主从分布式集群。整个集群由Master和Slave两部分构成：
- Master：管理整个集群的资源和Slave之间的交互，但不能用于计算。
- Slave：计算节点。
说明 设备间通信以及操作系统需要消耗资源，所以一台Slave的资源并不能全部用于计算。
注意事项
- Slave机型配置决定了您以后的扩容或者缩容的步骤。例如，您的Slave机型是8核32GB，则每次扩容或缩容即增加或减少n台8核32GB的机器，您的可用资源即增加或者减少n个6CU。
- 购买时Master选择三台是为了集群的稳定性，可以做到Master故障时完成主备切换。如果您选择三台Master的配置，阿里云会为您提供服务可用性（SLA）保障。
- Master机型的台数不能进行变更。
规格选择
与共享模式的CU概念（1CU=1核4GB）一样，独享模式配置也可以按照CU的方式进行换算。您可以按照以下计算逻辑，选择出各种机型搭配，实时计算Flink版价格计算器能够为您计算出价格较低的机型配比。
Slave型号以及Master型号和实际可用CU的换算关系经验值如下表：
- 购买Slave机型的最小台数为2，即独享模式最小的实际计算能力为6CU（3CU*2）。
| Slave型号 | 实际可用计算CU数 |
|---|---|
| 4核16GB | 3CU |
| 8核32GB | 6CU |
| 16核64GB | 13CU |
| 24核96GB | 21CU |
| 32核128GB | 28CU |
| 56核224GB | 52CU |
| 64核256GB | 60CU |
- Master型号受整体集群CU大小的限制，对应集群最大CU规格经验值如下表。
| Master型号 | 集群最大CU规格 |
|---|---|
| 4核16GB | 80CU |
| 8核32GB | 160CU |
| 16核64GB | 800CU |
| 24核96GB | 800CU以上 |
说明 经验值仅供参考。
变配指导
集群变配
您可以调整master型号或slave数量，实现独享集群配置的变更。
- 登录项目管理页面。
- 鼠标悬停至页面右上角账号位置。
- 单击项目管理。
- 在左侧导航栏，单击集群管理 > 集群列表。
- 在集群列表中，单击目标集群操作列下的更多，选择扩容或缩容。
项目变配
- 登录项目管理页面。
- 鼠标悬停至页面右上角账号位置。
- 单击项目管理。
- 在左侧导航栏，单击集群管理 > 项目列表。
- 变更资源配置：
- 在项目列表中，单击目标项目操作列下的扩/缩容。
- 在项目扩容/缩容窗口，设置CU数。
- 单击确定。
释放集群
完成集群使用后，您可以通过释放独享模式（按量付费）集群的方式，停止计费。本文为您介绍如何释放实时计算集群。
注意
- 集群释放完成后，项目会被删除。如果您再次购买实时计算服务后新建项目，可以导入原有项目的作业。
- 实时计算控制台。
- 鼠标悬停至页面右上角账号位置，单击项目管理。
- 在左导航栏中，单击集群列表。
- 在集群列表页面中，单击目标集群操作列中的释放。
- 单击确认。
阿里云Blink介绍相关推荐
- 阿里研发:核心系统--中间件--阿里云--yunOS介绍
阿里研发:核心系统--中间件--阿里云--yunOS介绍 分类: 1.1 自然科学 1.2.1.1 职业规划 1.3 学习方法 1.1.1 信息技术 1.1.1.1 操作系统OS 1.1.1.2 OS ...
- 对象存储OSS之阿里云OSS介绍及开通
数据.文件存储方式 一般,数据.文件的存储主要有以下几种方式: MySQL 数据(MySQL)+文件(本地IO流) 数据(MySQL)+缓存(Redis)+文件(服务器集群.fastDFS(集群).h ...
- 阿里云中间件是什么-阿里云中间件介绍
阿里云中间件是什么?这其实是一个比较虚的概念.广义的中间件范围很广.起沟通作用的都可以认为是中间件.甚至ODBC这样的东西你也可以认为是中间件. 使用了中间件之后,以前直接连接的前台应用程序和数据库之 ...
- 阿里云 blink 相关错误码问题解决
1.使用阿里云的flink平台是,有时重启任务会有shell cmd的报错信息,错误代码如下: Submit job for the [21] times,last error occurred at ...
- Flink学习笔记-阿里云Blink
因为项目环境限制,流处理引擎只能使用阿里云 Blink3.3.0 版本,翻阅阿里云官网 Blink 和 GitHub Flink 的Blink分支资料,成功构建并运行 Blink 的 DataStre ...
- 阿里云RPA（机器人流程自动化）干货系列之三：阿里云RPA介绍
本文是阿里云RPA(机器人流程自动化)干货系列之三,详细介绍了阿里云RPA的产生背景.技术特点.功能特性.非功能指标以及发展现状等. 一.产生背景 在2011年,随着阿里巴巴集团的各项业务突飞猛进,集 ...
- 【技术认证介绍】阿里云认证介绍
阿里云专业技术认证包含: 阿里云Apsara Clouder技能认证 阿里云助理工程师认证ACA级别(Alibaba Cloud Certified Associate) 阿里云专业工程师认证ACP级 ...
- 阿里云扛把子-阿里云服务器介绍
下面我们就看看阿里云服务器的特点: 丰富的实例类型和多种存储选择 面向各类企业应用场景,云服务器ECS将提供超过30款高性能规格族供您选择.按您的实际业务场景可选择不同配置实例搭配1到17块不同容量的 ...
- 阿里云OSS介绍之一 总体介绍与使用
一年前,参与了在阿里云上部署公司的网站.但是,网站的静态资源(背景图片和JS及css文件较大).在不扩展服务器带宽的情况下,需要一个高带宽静态资源服务器来加载这些静态的资源. 为此,瞄准了阿里云的OS ...
- 阿里云MaxCompute介绍
什么是MaxCompute? 大数据计算服务MaxCompute(原名ODPS)是一种快速.完全托管的EB级数据仓库解决方案. 随着数据收集手段不断丰富,行业数据大量积累,数据规模已增长到了传统软件行 ...
最新文章
- open3d python 学习笔记
- linux 安装系统划分lvm分区
- 自定义类型处理器的应用
- Java中的Properties类详解Properties配置文件
- oracle 后台进程管理,Oracle background processes后台进程
- ❤️《大前端—模块化》
- JavaScript系列：模块化与链式编程
- RDD与DataFrame
- (4) IFC属性及属性集 (Industry Foundation Class)
- CCA分析图如何解读_BI报表控件Wyn使用教程：如何使用网状/雷达图进行数据分析...
- 硬盘盘符拒绝访问-问题和解决办法
- 【往届期末试卷】2018届数据库原理与应用
- python绘图设置新罗马字体_更改matplotlib中的字体
- Hyper-V 配置静态 IP
- iptables的三表五链
- 尼康d3200与智能设备 (android) 连接,,尼康D3200有WIFI功能吗
- 在anaconda中安装tensorflow
- java——集合——List集合——List集合
- 2010年互联网风云人物
- template 的 用法