Knative 实战:基于 Kafka 实现消息推送
作者 | 元毅 阿里云智能事业群高级开发工程师
导读:当前在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何基于 Kafka 实现消息推送呢?本文作者将以阿里云 Kafka 产品为例,给大家解锁这一新的姿势。
背景
消息队列 for Apache Kafka 是阿里云提供的分布式、高吞吐、可扩展的消息队列服务。消息队列 for Apache Kafka 广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,已成为大数据生态中不可或缺的部分。
结合 Knative 中提供了 KafkaSource 事件源的支持, 可以方便的对接 Kafka 消息服务。
另外也可以安装社区 Kafka 2.0.0 及以上版本使用。
在阿里云上创建 Kafka 实例
创建 Kafka 实例
登录消息队列 Kafka 控制台, 选择【购买实例】。由于当前 Knative 中 Kafka 事件源支持 2.0.0 及以上版本,在阿里云上创建 Kafka 实例需要选择包年包月、专业版本进行购买,购买之后升级到 2.0.0 即可。
部署实例并绑定 VPC
购买完成之后,进行部署,部署时设置 Knative 集群所在的 VPC 即可:
创建 Topic 和 Consumer Group
接下来我们创建 Topic 和消费组。
进入【Topic 管理】,点击 创建 Topic
, 这里我们创建名称为 demo 的 topic:
进入【Consumer Group 管理】,点击 创建 Consumer Group
, 这里我们创建名称为 demo-consumer 的消费组:
部署 Kafka 数据源
部署 Kafka addon 组件
登录容器服务控制台,进入【Knative 组件管理】,部署 Kafka addon 组件。
创建 KafkaSource 实例
首先创建用于接收事件的服务 event-display:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:name: event-display
spec:template:spec:containers:- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/eventing-sources-cmd-event_display:bf45b3eb1e7fc4cb63d6a5a6416cf696295484a7662e0cf9ccdf5c080542c21d
接下来创建 KafkaSource:
apiVersion: sources.eventing.knative.dev/v1alpha1
kind: KafkaSource
metadata:name: alikafka-source
spec:consumerGroup: demo-consumer# Broker URL. Replace this with the URLs for your kafka cluster,# which is in the format of my-cluster-kafka-bootstrap.my-kafka-namespace:9092.bootstrapServers: 192.168.0.6x:9092,192.168.0.7x:9092,192.168.0.8x:9092topics: demosink:apiVersion: serving.knative.dev/v1alpha1kind: Servicename: event-display
说明:
- bootstrapServers: Kafka VPC 访问地址
- consumerGroup: 设置消费组
- topics:设置 Topic
创建完成之后,我们可以查看对应的实例已经运行:
[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl get pods
NAME READY STATUS RESTARTS AGE
alikafka-source-k22vz-db44cc7f8-879pj 1/1 Running 0 8h
验证
在 Kafka 控制台,选择 topic 发送消息,注意这里的消息格式必须是 json 格式:
我们可以看到已经接收到了发送过来的 Kafka 消息:
[root@iZ2zeae8wzyq0ypgjowzq2Z ~]# kubectl logs event-display-zl6m5-deployment-6bf9596b4f-8psx4 user-container☁️ CloudEvent: valid ✅
Context Attributes,SpecVersion: 0.2Type: dev.knative.kafka.eventSource: /apis/v1/namespaces/default/kafkasources/alikafka-source#demoID: partition:7/offset:1Time: 2019-10-18T08:50:32.492ZContentType: application/jsonExtensions: key: demo
Transport Context,URI: /Host: event-display.default.svc.cluster.localMethod: POST
Data,{"key": "test"}
小结
结合阿里云 Kafka 产品,通过事件驱动触发服务(函数)执行,是不是简单又高效。这样我们利用 Knative 得以把云原生的能力充分释放出来,带给我们更多的想象空间。欢迎对 Knative 感兴趣的一起交流。
实操视频演示链接:https://v.qq.com/x/page/d3013wzs3tp.html
作者简介:元毅,阿里云容器平台高级开发工程师,负责阿里云容器平台 Knative 相关工作。
欢迎加入 Knative 交流群
“ 阿里巴巴云原生微信公众号(ID:Alicloudnative)关注微服务、Serverless、容器、Service Mesh等技术领域、聚焦云原生流行技术趋势、云原生大规模的落地实践,做最懂云原生开发者的技术公众号。”
Knative 实战:基于 Kafka 实现消息推送相关推荐
- Knative 实战:基于阿里云 Kafka 实现消息推送
在 Knative 中已经提供了对 Kafka 事件源的支持,那么如何在阿里云上基于 Kafka 实现消息推送,本文给大家解锁这一新的姿势. 背景 消息队列 for Apache Kafka 是阿里云 ...
- 基于SignalR的消息推送与二维码描登录实现
1 概要说明 使用微信扫描登录相信大家都不会陌生吧,二维码与手机结合产生了不同应用场景,基于二维码的应用更是比较广泛.为了满足ios.android客户端与web短信平台的结合,特开发了基于Singl ...
- netty多台服务器 推送消息,基于Netty的消息推送服务器集群设计与实现
徐龙光 何顶新 摘 要:消息推送是当前移动应用中十分必要的一项技术,服务者需要使用消息推送以保持用户活跃度,提高应用存留率.为了满足消息推送的需求和增强推送系统的性能,采用Netty网络编程框架并搭建 ...
- 基于Python的消息推送(钉钉、微信、QQ)
文章目录 前言 一.钉钉机器人 1. 新建群聊 2. 添加机器人 3. 设置机器人 4. 程序编写 二.Server酱(微信) 1. 注册登录 2. 获取设置 3. 程序编写 二.Qmsg酱(QQ) ...
- push msg php_基于web-msg-sender进行消息推送
简介 web-msg-sender是一款web长连接推送框架,采用PHPSocket.IO开发,基于WebSocket长连接通讯,如果浏览器不支持WebSocket则自动转用comet推送. 通过后台 ...
- 基于MQTT的消息推送
这段时间学习了推送技术,对xmpp和mqtt 协议做了下比较. xmpp基于xml信息传递,所以传输信息量比较大,在保持长链接情况下功耗会比较大. 可能还是比较适合用来做聊天之类的通讯应用,而对于智能 ...
- mysql active推送消息_java实现基于activeMQ的消息推送
一. jar包介绍 1. 点击此下载 apache-activemq-5.3.0,得到: activemq-all-5.3.0.jar activemq-web-5.3.0.jar 2. spring ...
- 设计一个百万级的消息推送系统
2019独角兽企业重金招聘Python工程师标准>>> 前言 首先迟到的祝大家中秋快乐. 最近一周多没有更新了.其实我一直想憋一个大招,分享一些大家感兴趣的干货. 鉴于最近我个人的工 ...
- 友盟消息推送服务器demo,umeng友盟消息推送功能集成
umeng友盟消息推送功能集成(本人使用的是eclipse开发) 1.首先请自行观看友盟消息推送集成的API文档. 观看地址如下: 2.集成步骤如下 下载sdk 注意:有两种sdk如果用户已经集成支付 ...
最新文章
- Android 依赖库发布(上传 Library 到 JCenter)gradle最高支持4.4
- 在内网IT服务门户里申请Windows Azure虚拟机
- weblogic缓存导致的网页验证码无法获取到
- 无法检测或故障_电热水壶故障检修分析。
- android udp 收发例子_网络协议之TCP和UDP
- python相同key合并value_Python快速入门最需掌握的4个知识点
- 开放接口加密方案_27种开放式解决方案,适用于所有教育
- PyTorc 1.0 中文文档:扩展PyTorch
- 年仅 5 岁的 Rust 如何成为最受欢迎的编程语言?
- RabbitMQ的Android端接收
- php startup memcache,centos php 安装memcache模块
- 零信任兴起:从理念到实践
- 代码风格自动化(二)——husky + lint-staged
- 极限、可导、可微、连续之间的关系
- 信息隐藏——第四章 图像信息隐藏数
- NANDFlash-W25N01GVZEIG的学习笔记
- [Java安全]—动态加载字节码文件
- 联想台式主机拆机教程_联想 aio 520 拆机教程 ,全网最完整版,细节不放过,不看后悔...
- flask中调用静态文件步骤
- 北师大版图形的旋转二教案_北师大版六年级下册数学第三单元《图形的旋转(二)》教案.doc...