kafka connect

在本周的白板演练中，MapR的高级产品营销经理Ankur Desai描述了Apache Kafka Connect和REST API如何简化和提高在处理来自包括旧数据库或数据仓库在内的各种数据源的流数据时的敏捷性。 他还解释了当您使用MapR Streams与Kafka进行数据传输时，此体系结构的差异。

其他资源：

• 卡罗尔·麦克唐纳（Carol MacDonald）的博客教程“使用Spark Machine Learning，Streaming和Kafka API监视实时Uber数据”
• Tugdual Grall撰写的使用Kafka API的示例程序的“ MapR Streams入门”博客教程
• Apache Flink简介： Ellen Friedman和Kostas Tzoumas撰写的《 实时和超越流处理》一书在线免费阅读

这是完整的视频转录：

嗨，我是Ankur Desai。 我在MapR的产品团队中工作。 欢迎来到我的白板演练。 今天，我将讨论流架构，以及该架构的新进展如何帮助使该架构更加敏捷和简单。 让我们谈谈一切。

这是典型的流架构。 在左侧，您拥有诸如社交媒体，传感器和各种数据之类的数据源。 然后，您将使用Flume之类的数据收集器从这些数据源获取数据，然后Flume充当Kafka的生产者。 另外，请记住您也有旧式数据源，例如数据库和数据仓库。 要从这些来源获取数据并放入Kafka中，通常可以使用充当Kafka生产者的自定义代码，也可以再次使用数据收集器。

数据放入Kafka后，Kafka将充当流式体系结构的消息传递系统。 它充当传输层。 将数据保存在Kafka中后，Kafka便可以将数据提供给流处理引擎，例如Spark Streaming和Flink。 流处理层用于ATL，分析和聚合之类的目的。 处理完成后，您希望将结果存储在持久层中，以使其可用于下游应用程序。

让我们谈谈如何使整个体系结构更敏捷，更简单。 让我们从REST API开始。 REST API，让我在这里画一下进行解释。 REST API允许任何环境中的任何编程语言使用SJDP将数据写入Kafka。 同时，请记住，我们还具有经常需要与Kafka对话的旧数据源。 该社区已经开发了一个工具集，即称为Kafka Connect的框架。 Kafka Connect是一组预先建立的连接器，可以帮助您将数据从旧系统导入Kafka。 现在，您可以使用Kafka Connect在Kafka中进出数据。 结果，整个架构更加简单。

Kafka Connect提供了预构建的连接器，因此您不必每次都要在旧系统中进出数据时都编写自定义代码。 另外，Kafka Connect不仅可以用作数据导入工具，还可以将数据从Kafka导出到某些目标。 此外，让我们讨论如何将这种体系结构的某些组件融合到一个平台，一个集群，一个系统中。

借助MapR融合数据平台，我们用MapR Streams替换了Kafka，而后者使用了相同的API。 您所有的Kafka应用程序也将在MapR上运行。 MapR融合数据平台将传输处理和持久性的所有必需组件融合到一个集群，一个系统中的一个平台上。 您在此红色方框内看到的所有内容实际上都在同一集群中的同一平台上运行。 所有这些都融合在MapR上。 这实际上有助于消除不同群集之间的数据移动。 结果，我们扩展了敏捷性和简单性的概念，因为现在您不必在不同集群之间移动数据。 这减少了等待时间，并引入了以前没有的架构简化。

在这里，您可以使用MapR融合数据平台使体系结构更简单，更灵活。 谢谢收看 如有任何疑问，请随时在下面写下评论。

翻译自: https://www.javacodegeeks.com/2016/12/kafka-connect-mapr.html

kafka connect