来吧，1分钟带你玩转Kafka

【摘要】 Kafka让人又爱又恨？来吧，一分钟带你玩转它

说起Kafka，许多使用者对它是又爱又恨。Kafka是一种分布式的、基于发布/订阅的消息系统，其极致体验让人欲罢不能，但操心的运维、复杂的安全策略、可靠性易用性的缺失、算不上极致的性能发挥、并不丰富的消息服务功能，仍需要使用者付出诸多的背后工作。即使你是Kafka老手，也难免会有上述同样的烦恼。

与其整日操心Kafka的部署，不如试试云上Kafka带给你的惊喜？目前国内主流的云服务厂商均提供了云上的Kafka服务，为应用系统提供异步的消息队列服务。通过高可用的消息缓冲队列，实现应用解耦、突发流量处理及与第三方的互通和集成，具有大规模、高可靠、高并发访问、可扩展且完全托管的特点。比如分布式消息服务DMS，帮助云端的应用程序组件去耦合，具有很高的成本效益。DMS拥抱开源，提供支持兼容开源Kafka接口，用户可无缝迁移，按需使用。

DMS优势

全面兼容Kafka 提升效率

兼容开源

业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用DMS的Kafka队列，做到无缝迁移。

消息互通

支持消息多通道，DMS接口可对Kafka队列进行消息收发，也可用开源Kafka client进行消息收发。

安全保证

独有的安全加固体系，提供业务操作可回溯，消息存储加密及租户间有效隔离等有效安全措施。

高可靠及可用无忧运维

数据高可靠

消息持久化，多副本存储。

服务高可用

后台多集群部署，支持故障自动迁移和容错，保证用户关键业务的可靠运行。

无忧运维

提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免7*24小时人工值守。

核心特性

细粒度灵活控制

DMS支持RBAC(基于角色访问控制)和PBAC(基于策略访问控制)两种访问控制模式，从而提供更加安全灵活的访问策略。可以实现消息队列粒度和API调用动作的安全策略访问控制，结合华为云的IAM服务，可以满足用户几乎所有对消息服务使用的安全要求。

多协议的访问

DMS提供多种协议接入方式，包括1）HTTP 符合REST规范标准的接入，支持多种语言接入使用，并支持云内及云外访问。2）基于TCP的简单SDK方式，提供更加高性能的访问接口；另外，还提供兼容开源Kafka的开放接口，能够更好地帮助用户把使用Kafka的应用快速上云。

分布式可靠集群和海量队列能力

内建的分布式集群技术，使得服务具有高度扩展性；无限扩展的队列数量和可扩展的高性能机制，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。内建消息冗余存储，保证消息存储的可靠性，有效避免服务节点故障。

死信管理

死信是在消费环节为用户提供一种不能正常处理消息时的可选方案，防止因个别消息不正常导致后续消息都不能被消费，造成业务阻塞。DMS为用户提供可视化死信开关和参数配置，并提供API接口。在不开启死信队列功能时，对于确认失败或超时的消息，系统会进行回滚并重投递。无论是否开启死信功能，DMS服务都会保证消息不丢失。

自定义消息功能

DMS除提供消息队列的核心功能外，还提供额外的增强能力，为用户提供高收益、低成本的极具性价比的消息服务。消息消费重置允许用户设置任一可消费的时间点控制向前或向后消费进度，提高消费的灵活性；基于消息标签的消息过滤可实现选择性地消费包含指定标签的消息；支持消息属性，每条消息上都可以设置不同的属性。

无忧运维

消息服务是云原生服务，整个消息服务的运维对用户透明。用户无需关心后台运维情况，只需关注自身涉及的消息队列指标，支持对入队消息数、请求数、已经消费的消息数、消息堆积数量等情况的监控，并支持配置告警规则，用户可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。

适用场景

业务解耦

将业务中依赖其他系统同时属于非核心或不重要的部分使用消息服务，无需同步等待其他系统的处理结果。如电商网站获取用户订单后，信息放入消息队列，会从队列里读取出库、发货任务信息然后执行。

最终一致性

用于两个系统的状态最终保持一致，或都成功或都失败。如用于交易系统的高可靠数据传递，实现跨系统的事务最终一致，降低实现难度和成本；如预定门票及软件打车。

错峰流控

上下游系统处理能力有差异时，可以使用消息服务转储系统之间的通信数据，提供消息堆积缓冲能力，在下游系统有能力处理消息的时候再处理，减少拥塞、系统崩溃等问题，提高系统的可用性，降低复杂性。如高峰时段的注册、抢购、预约等。

日志同步

应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析,也可用于关键日志信息收集，进行应用监控。如注册时用户填写的个人信息等。

现阶段DMS免费使用喔！一分钟玩转Kafka，就是这么简单~

来源：华为云社区作者：小柴不加胡

来吧，1分钟带你玩转Kafka相关推荐

三分钟带你玩转直播带货套路，附带直播脚本文案资料包丨国仁网络
无直播不营销,早已成了公认的营销趋势. 几乎所有的品牌.商家.创业者都在探索直播带货之路,但是大多数人的直播之路走得并不顺利. 一场成功的直播,涉及到的运营细节多达几十个.如果没有前期的准备和策划,动 ...
五分钟带你玩转Zabbix6.0容器化HA集群
图片蔡斯 | Zabbix开源社区签约专家 Zabbix资深玩家,SRE高级运维,架构师.精通服务组件监控.模板制作及告警治理. 擅长领域:Zabbix API定制化开发,对接企业蓝鲸,JMS保垒机 ...
一分钟带你玩转 Spring IoC
点击上方好好学java ,选择星标公众号重磅资讯.干货,第一时间送达今日推荐:干掉 Navicat:这个 IDEA 的兄弟真香!个人原创100W+访问量博客:点击前往,查看更多前言我们对 ...
参会指南丨3分钟带你玩转2020数据技术嘉年华！
大会以"自研·智能·新基建--云和数据促创新生态融合新十年" 为主题,打造 "开源自研.智能运维.智能自治.新基建.用户实践"五大模块,设置1个主会场.12个 ...
五分钟带你玩转elasticsearch（二十二）logback获取bootstrap.yml配置，统一管理es配置
注意 application.yml名需要更改成bootstrap.yml logback配置文件名称为logback-spring.xml 否则在启动时会报错查找不到bootstrap.yml中的 ...
linux 正则表达式视频教程,30分钟带你玩转正则表达式
定义: 正则表达式说白了就是有普通字符.以及特殊字符组成的文子模式.{匹配模式标准} 正则表达式将会作为一个模板与所搜索的字符串进行匹配.可以让使用者轻易达到搜寻/删除/取代某些特定字符的处理程序.此 ...
参会指南丨3分钟带你玩转2019数据技术嘉年华！
2019数据技术嘉年华参会指南第九届数据技术嘉年华将于2019年11月15-16日在北京新云南皇冠假日酒店举行,本次大会以 "开源 • 智能 • 云数据 - 自主驱动发展创新引领未来& ...
三分钟带你玩转PDF文件签名
文章目录需求解决方案一解决方案二需求客户希望在 PDF 文件上,借助手写板完成签名操作,其中手写板是个可以把签名转成图片的的硬件,硬件部分由于来源繁多,此处略过,默认已经拿到图片签名. 解决 ...
【数据结构】初识数据结构，十分钟带你玩转算法复杂度
目录

来吧，1分钟带你玩转Kafka

来吧，1分钟带你玩转Kafka相关推荐

最新文章

热门文章