akka kafka java_Jay Kreps谈基于Apache Kafka和Kafka Streams的分布式流处理

借助 Apache Kafka 和 Kafka Streams 框架可以更好地搭建以流为中心的架构和开发分布式流处理应用程序。Confluent的CEO Jay Kreps在上周举行的 2016响应式峰会上为我们带来了有关流处理和微服务的演讲。

Jay说，人们已经在数据库技术上做了很多研究，但在消息队列上做得并不多。在基于微服务的系统架构里，消息传递可以作为服务的强有力后盾。

他提到了三种编程范式：请求/响应、批处理和流处理，以及这三种范式之间的区别。流处理同时适用于在线和批处理两种场景。流处理并不是更快的MapReduce，而是处理和分析数据的另一种范式。Jay介绍了Kafka的四种有关流处理的核心API ：Producer、Consumer、Connector和Streams。

Kafka Streams是一个Java类库，可以用来构建具有容错能力的分布式流处理应用程序。它支持map、filter、aggregate(count、sum)和join这些方法。

在大会的另一个演讲里，来自UC Santa Cruz的 Peter Alvaro 谈到如何为大规模分布式容错系统做自动故障测试。他提到了沿袭驱动故障注入(Lineage-Drive Fault Injection， LDFI )方法，这种方法利用日志跟踪信息来识别冗余计算，有助于测试的进行。

Peter总结了系统故障测试需要具备的四个条件：

真实的问题

真实的系统

思考时间

故障自由

关于这个话题的更多信息，可以在Netflix 博客上看到。

大会第二天的活动内容包括Jan Machacek带来的“ 从单体到微服务 ”以及Anil Gursel和Akara Sucharitakul带来的“ 使用Akka Streams和Kafka进行回压 ”。

Jan Machacek介绍了如何使用Akka、Scala和Kafka开发一个微服务系统。这个系统还使用了 Apache Cassandra 作为数据存储，还有RabbitMQ，以及在 Apache Spark 里运行的批处理分析代码。他建议我们在开发分布式系统时要有很好的监控和跟踪能力。每个微服务都可能会发布自己的内部API，开发者们要知道如何使用它们。

Anil Gursel和Akara Sucharitakul讲述了他们在PayPal利用 Akka Streams 和Kafka的回压能力来应对突发性负载的经历。他们举了一个Web爬虫的例子，并告诉我们他们是如何利用Kafka的缓冲能力和Akka Streams的回压异步处理能力来应对突发性负载的。

Akka Streams框架提供了纯异步流处理，具有响应式流的特点。他们还讲到了 Squbs ，Squbs是PayPal开发的一个响应式平台，并具有引导启动、生命周期管理能力，可以用于构建松耦合的模块化系统，并为日志和监控提供了集成接口。

感谢冬雨对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博(@InfoQ，@丁晓昀)，微信(微信号： InfoQChina )关注我们。

akka kafka java_Jay Kreps谈基于Apache Kafka和Kafka Streams的分布式流处理相关推荐

再谈基于 Kafka 和 ZooKeeper 的分布式消息队列原理
关于分布式消息队列,我在几个月前写过一篇文章:<深入浅出理解基于 Kafka 和 ZooKeeper 的分布式消息队列 >.最近,由于写作课程<分布式中间件实践之路>的契机,我 ...
您在2016年会做什么？ Apache Spark，Kafka，Drill等
让我们玩得开心. 这是新的一年的开始-我们正处于新事物的门槛上-因此让我们期待您在2016年可能会做的事情.现在我知道做出预测的风险,尤其是有记录的预测,但是我很高兴您能在一年后回访,看看我对2016 ...
【kafka】浅谈Kafka的多线程消费的设计
1.概述转载:浅谈Kafka的多线程消费的设计看原文去... 一.前言跟RabbitMQ相比,Kafka的分区机制(Partition)使其支持对同一个"队列"分片并行读取, ...
Apache Kafka-初体验Kafka(02)-Centos7下搭建单节点kafka_配置参数详解_基本命令实操
文章目录安装JDK 安装zookeeper 安装kafka 下载解压配置hosts 启动kafka服务 server.properties核心配置详解基本命令创建主题发送消息消费消息查看 ...
Apache Kafka-初体验Kafka(01)-入门整体认识kafka
文章目录 kafka官方文档使用场景 Kafka基本概念消息( Message )相关术语主题Topic & 消息日志Log 分布式Distribution Producers Cons ...
Python 基于pykafka简单实现KAFKA消费者
基于pykafka简单实现KAFKA消费者 By: 授客 QQ:1033553122 1．测试环境 python 3.4 zookeeper-3.4.13.tar.gz 下载地址1 ...
别了 Kafka！拉卡拉的 Apache Pulsar 最佳实践
关于 Apache Pulsar Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息.存储.轻量化函数式计算为一体,采用计算与存储分离架构设计,支 ...
Apache Kafka-SpringBoot整合Kafka发送复杂对象
文章目录 Spring Kafka概述 Code 依赖配置文件消息生产者消费者单元测试: 同步发送测试单元测试: 异步发送源码地址 Spring Kafka概述 Spring提供了 S ...
Apache Kafka-初体验Kafka(04)-Java客户端操作Kafka
文章目录操作步骤 Maven依赖生产者消费者操作步骤 Maven依赖核心依赖 kafka-clients <dependency><groupId>org.apach ...
Apache Flink和Kafka入门
介绍 Apache Flink是用于分布式流和批处理数据处理的开源平台. Flink是具有多个API的流数据流引擎,用于创建面向数据流的应用程序. Flink应用程序通常使用Apache Kafka进 ...

akka kafka java_Jay Kreps谈基于Apache Kafka和Kafka Streams的分布式流处理

akka kafka java_Jay Kreps谈基于Apache Kafka和Kafka Streams的分布式流处理相关推荐

最新文章

热门文章