我于2017年5月开始在Confluent工作,担任技术传播者,专注于围绕开源框架Apache Kafka的主题。 我认为机器学习是当今最热门的流行语之一,因为它可以在任何行业中增加巨大的商业价值。 因此,您还会从我这里收到有关Apache Kafka(消息传递),Kafka Connect(集成),Kafka Streams(流处理),Confluent在Kafka之上的其他开源插件(Schema Registry,Replicator,Auto Balancer,等等。)。 我将解释在实际生产场景中如何将所有这些用于机器学习和其他大数据技术。

如果您想知道为什么对在大数据世界中迁移(返回)开源以便进行消息传递,集成和流处理感到非常兴奋,请阅读本文档。

在下面的博客文章中,我想分享一次代表Confluent的会议演讲的第一张幻灯片:位于德国莱比锡的软件体系结构用户组组织了为期2天的活动,以讨论实践中的大数据 。

Apache Kafka流+机器学习/深度学习

这是幻灯片的摘要:

大数据和机器学习是当今许多行业创新的关键。 大量的历史数据存储在Hadoop,Spark或其他群集中并进行分析,以找到模式和见解,例如用于预测性维护,欺诈检测或交叉销售。

本部分的第一部分将说明如何利用R,Python和Scala利用开源机器学习/深度学习框架(如Apache Spark , TensorFlow或H2O.ai) 来构建分析模型

第二部分讨论如何在自己的实时流应用程序或微服务中利用这些内置的分析模型。 它说明了如何利用Apache Kafka集群和Kafka Streams而不是构建自己的流处理集群。 该课程侧重于现场演示,并讲授以高度可扩展和高效的方式执行分析模型的经验教训。

最后一部分解释了Apache Kafka如何帮助从手动构建和部署分析模型转变为实时不断地在线改进模型

幻灯片:如何建立分析模型并将其部署到实时处理

这是幻灯片平台:

来自KaiWähner的 Apache Kafka流+机器学习/深度学习

接下来的几周将发布更多具有更多详细信息的博客文章和特定的代码示例。 我还将对此幻灯片平台进行网络记录,并将其发布到Youtube上。

翻译自: https://www.javacodegeeks.com/2017/05/apache-kafka-streams-machine-learning-spark-tensorflow-h2o-ai.html

Apache Kafka流+机器学习(Spark,TensorFlow,H2O.ai)相关推荐

  1. Apache Kafka - 流式处理

    文章目录 概述 什么是流式处理 流式处理的一些概念 时间 状态 流和表的二元性 时间窗口 流式处理的设计模式 单个事件处理 使用本地状态 多阶段处理和重分区 使用外部查找--流和表的连接 流与流的连接 ...

  2. kafka教程_2018年机器学习趋势与Apache Kafka生态系统结合

    kafka教程 在慕尼黑举行的OOP 2018大会上,我介绍了有关使用Apache Kafka生态系统和诸如TensorFlow,DeepLearning4J或H2O之类的深度学习框架构建可扩展,关键 ...

  3. apache kafka_2018年机器学习趋势与Apache Kafka生态系统相结合

    apache kafka 在慕尼黑举行的OOP 2018大会上,我介绍了有关使用Apache Kafka生态系统和诸如TensorFlow,DeepLearning4J或H2O之类的深度学习框架构建可 ...

  4. 2018年机器学习趋势与Apache Kafka生态系统相结合

    在慕尼黑举行的OOP 2018大会上,我介绍了有关使用Apache Kafka生态系统和诸如TensorFlow,DeepLearning4J或H2O之类的深度学习框架构建可扩展,关键任务微服务的演讲 ...

  5. KSQL:Apache Kafka的流式SQL

    更新:KSQL  现在可作为Confluent Platform的一个组件提供. 我很高兴地宣布KSQL,为Apache kafka流SQL引擎®.KSQL降低了流处理世界的入口,提供了一个简单而完全 ...

  6. h2o.ai源码解析(1)—项目简介

    h2o.ai项目简介 参考h2o.ai官网中给出的项目定位是"open source platform for AI".相较于当前市面上的机器学习平台,h2o.ai的优势在于: - ...

  7. Apache的流处理技术概述

    对于流数据的处理存在很多技术:简单的事件处理器,流处理器和复杂的事件处理器.即使在开源社区中,也存在很多扑朔迷离的选择,其中很多的差异并没有被很好的记载,也不容易发现.这就是为什么我决定写这篇Apac ...

  8. grpc_模型服务:流处理与使用Java,gRPC,Apache Kafka,TensorFlow的RPC / REST

    grpc 机器学习/深度学习模型可以通过不同的方式进行预测. 我的首选方法是将分析模型直接部署到流处理应用程序(如Kafka Streams或KSQL )中. 您可以例如使用TensorFlow fo ...

  9. kafka grpc_模型服务:流处理与使用Java,gRPC,Apache Kafka,TensorFlow的RPC / REST

    kafka grpc 机器学习/深度学习模型可以通过不同的方式进行预测. 我的首选方法是将分析模型直接部署到流处理应用程序(如Kafka Streams或KSQL )中. 您可以例如使用TensorF ...

最新文章

  1. 7_7_2013 E.Function
  2. 太酷炫了,我用 Python 画出了北上广深的地铁路线动态图
  3. 6个用于大数据分析处理的最好工具
  4. 二 RHEL7.2下的Docker配置
  5. 通过ArrayList对modCount的操作分析fail-fast 机制
  6. ArrayList、LinkedList、Vector的区别
  7. ubuntu(deepin)安装apache2并支持php7.0
  8. 东莞 小学计算机编程大赛,关于举办第二十一届东莞市中小学电脑制作活动的通知...
  9. 浅谈分布式计算的开发与实现(二)
  10. Android 使用WakeLock
  11. 前端学习总结【103天】:CSS——不用JavaScript实现tab标签切换的两种方法
  12. 单片机双击 长按 c语言,单片机三种按键模式 单击 双击 长按
  13. 基于CentOS虚拟机的Hadoop安装教程(自用备忘)
  14. 最短路—Johnson算法(解决负权边,判断负权环)
  15. 详解如何用爬虫工具批量采集阿里巴巴批发网商品数据
  16. 汽车电子技术——传感器感知技术
  17. 苹果鼠标右键怎么按_iPadOS 鼠标支持详解
  18. Docker启动容器启动并映射端口号时报错:Error starting userland proxy: listen tcp 0.0.0.0:3306: bind: address already
  19. sqldbx mysql 乱码_sqlDbx连接mysql 及乱码
  20. 思维模型:建立高品质思维的30种模型

热门文章

  1. 深入理解TCP/IP协议-TCP建立与终止连接
  2. JTA 深度历险 - 原理与实现
  3. JVM调优总结(1):一些概念
  4. 1-10 之间的整数相加,得到累加值大于 20 的当前数
  5. Ajax基本案例详解之$.getjson的实现
  6. Struts文件上传与下载详解_上传单个文件
  7. mysql - Docker Wordpress连接到本地主机上的数据库服务器
  8. Spring中@Autowired、@Qualifier、@Resource的区别
  9. linux虚拟机tomcat上部署web项目的常用命令
  10. java前台线程(普通线程) 和 后台线程