云计算情报局预告｜告别 Kafka Streams，让轻量级流处理更加简单
作者：不周 关键词：Kafka ETL，高弹性、免运维、低成本
阿里云消息队列 Kafka 版提供兼容 Apache Kafka 生态的全托管服务，彻底解决开源产品长期的痛点，是大数据生态中不可或缺的产品之一。随着 Kafka 越来越流行，最初只是作为简单的消息总线，后来逐渐成为数据集成系统，Kafka 可靠的传递能力让它成为流式处理系统完美的数据来源。在大数据工程领域，Kafka 在承接上下游、串联数据流管道方面发挥了重要作用，Kafka 应用流式框架处理消息也逐渐成为趋势。
说到流计算，常用的便是 Storm、Spark Streaming、Flink 和 Kafka Streams，目前这些框架都相对成熟，并且都有相应的使用案例，但这些框架使用起来门槛较高，首先要学习框架和各种技术、规范的使用，然后要将业务迁移到这些框架中，最后线上使用并运维这些流计算框架。尤其在面对 70% 以上简单流处理场景的需求，传统方案的弊端会被不断放大，客户仍然需要投入较大的人力成本和较高的资源，同时整个架构也比较复杂。总结来说，主要遇到的问题包含以下四个方面：
一是运维成本较高，研发团队自行编写代码，后期需要持续维护，会带来较大的运维成本； 二是技术成本较大，对于很多轻量或简单计算需求，需要进行技术选型，而引入一个全新的组件会带来较高的技术成本； 三是学习成本不可预期，在某组件选定后，需要研发团队进行学习并持续维护，这就带来了不可预期的学习成本； 四是开发人员自行选用开源组件之后，可靠性和可用性并不能得到很好的保障。
为了更好的解决传统流式计算在面对简单流处理场景需求时遇到的种种问题，阿里云消息队列 Kafka 版也推出了相应的解决方案：Kafka ETL。
那么阿里云 Kafka ETL 具体是如何解决以上问题的呢？
2 月 18 日下午 14:00，云计算情报局直播间将为您答疑解惑。
点击此处，立即前往云计算情报局直播间！
发布云原生技术最新资讯、汇集云原生技术最全内容，定期举办云原生活动、直播，阿里产品及用户最佳实践发布。与你并肩探索云原生技术点滴，分享你需要的云原生内容。
关注【阿里巴巴云原生】公众号，获取更多云原生实时资讯！
云计算情报局预告｜告别 Kafka Streams，让轻量级流处理更加简单相关推荐
- Kafka Streams简介: 让流处理变得更简单
Introducing Kafka Streams: Stream Processing Made Simple 这是Jay Kreps在三月写的一篇文章,用来介绍Kafka Streams.当时Ka ...
- 告别Kafka Stream，让轻量级流处理更加简单
作者|白玙 一说到数据孤岛,所有技术人都不陌生.在 IT 发展过程中,企业不可避免地搭建了各种业务系统,这些系统独立运行且所产生的数据彼此独立封闭,使得企业难以实现数据共享和融合,并形成了" ...
- RocketMQ Streams 1.1.0: 轻量级流处理再出发
本文作者:倪泽,Apache RocketMQ committer.RSQLDB/RocketMQ Streams Maintainer 01 背景 RocketMQ Streams是一款基于Rock ...
- kafka Streams
目录 一.简介 1.概述 2.批处理和流计算 3.Kafka Streams介绍 特点 概念介绍 二.Kafka Streams示例 1.单词统计 2.求和 3.窗口操作 一.简介 1.概述 Kafk ...
- Confluent Platform 3.0支持使用Kafka Streams实现实时的数据处理（最新版已经是3.1了，支持kafka0.10了）...
来自 Confluent 的 Confluent Platform 3.0 消息系统支持使用 Kafka Streams 实现实时的数据处理,这家公司也是在背后支撑 Apache Kafka 消息框架 ...
- Kafka Streams 剖析
1.概述 Kafka Streams 是一个用来处理流式数据的库,属于Java类库,它并不是一个流处理框架,和Storm,Spark Streaming这类流处理框架是明显不一样的.那这样一个库是做什 ...
- Kafka Streams开发者指南
Kafka Streams 1.1 概述 Kafka Streams是一个客户端程序库,用于处理和分析存储在Kafka中的数据,并将得到的数据写回Kafka或发送到外部系统.Kafka Stream基 ...
- 大数据Hadoop之——Kafka Streams原理介绍与简单应用示例
文章目录 一.Kafka Streams概述 1)Kafka Streams是什么 2)流式计算与批量计算区别 3)Kafka Streams特点 二.Kafka Streams流处理拓扑 1)相关概 ...
- Kafka Streams（三十）
Kafka Streams Kafka 一直被认为是一个强大的消息中间件,它实现了高吞吐.高可用和低延时的消息传输能力,这让它成为流式处理系统中完美的数据来源.目前通用的一些流式处理框架如 Apach ...
最新文章
- jfinal里使用ajax,Jfinal解决AJAX的跨域请求
- 计算机网络运输层习题5-13
- verilog的$dumpfile和$dumpvar系统任务详解
- 湖北高校实用的大数据平台，专业的高校大数据实训平台解决方案，波若高校实训平台...
- JavaScript将成为浏览器战争的主战场
- python表格对齐_python str.format 中文对齐的细节问题，
- 【原创】大公司为什么还在采用过时的技术
- VS 2005 或 VS 2008 在安装VSS 2005后，看不到源代码管理的解决办法
- 汇编指令mrs_专题1：电子工程师 之 软件】 之 【8.arm指令】
- javashop配置微信支付
- 神奇的go语言（image网站开发）
- 25% 的开发者认为 Rust 是最佳替代，最新 Go 开发者调查报告出炉
- ArcGIS 查看运行结果
- 【软件测试】软件测试为什么会用到Linux？
- opencv之调取摄像头拍照
- oracle11g dos卸载,Oracle 11G 完全卸载
- 二元二次方程例题_二元二次方程的解法 二元二次方程例题
- 常用在线英汉、英英词典
- 用关联规则和聚类探索药物配伍规律
- java saf_在不支持的浏览器中替代IndexedDB？ Safari / iOS Saf-Chrome