【Kafka】kafka的安装以及部署的详细描述

kafka是一个高吞吐量的分布式消息队列（message Queue）系统，以下是它的介绍

流媒体平台有三个关键功能：

发布和订阅记录流，类似于消息队列或企业消息传递系统。
以容错的持久方式存储记录流。
记录发生时处理流。

Kafka通常用于两大类应用：

构建可在系统或应用程序之间可靠获取数据的实时流数据管道
构建转换或响应数据流的实时流应用程序

要了解Kafka如何做这些事情，让我们深入探讨Kafka的能力。

首先是几个概念：

Kafka作为一个集群运行在一个或多个可跨多个数据中心的服务器上。
Kafka集群以称为主题的类别存储记录流。
每条记录都包含一个键，一个值和一个时间戳。

下面是它的图

一、安装的第一步

首先、应该先上传、解压。然后配置相应的配置文件，这里只需要配置server.properties即可，启动3台kafka Brokers，如下图所示

启动服务：在启动这个服务之前，先启动HDFS的各种节点，然后启动zookeeper服务，再启动kafka的服务，

创建topic并查看：bin/kafka-topics.sh --create --zookeeper bigdata-hpsk01.huadian.com:2181/kafka --replication-factor 2 --partitions 3 --topic testTopic88
   --replication-factor 副本数量 < Broker 数量
   查看kafka集群中 topic数目
   bin/kafka-topics.sh --list --zookeeper bigdata-hpsk01.huadian.com:2181/kafka

发送数据到topic中

   bin/kafka-console-producer.sh --broker-list hostname:9092,hostname:9093,hostname:9093 --topic testTopic88

   从topic消费数据
   bin/kafka-console-consumer.sh --zookeeper hostname:2181/kafka --topic testTopic88 --from-beginning

因为kafka的元数据是存储在zookeeper中，所以可以在zookeeper中去查看

这就说明安装成功了，可以往kafka写入数据了。

【Kafka】kafka的安装以及部署的详细描述相关推荐

Jenkins详细安装配置部署--超详细
Jenkins详细安装配置部署--超详细一.什么是CI/CD 二.Gitlab内置持续集成持续集成(CI) 持续交付(CD) 2.1 Gitlab的CI/CD优势 2.2 Gitlab的CI/CD ...
探讨微软团队开发利器VSTS之安装及部署篇
一.引言Visual Studio 2005 Team System是微软结合MSF成功开发经验的基础上,首次由软件开发领域延伸至整个软件开发生命周期管理的开发工具.Visual Studio 200 ...
探讨微软团队开发利器VSTS安装及部署篇
一.引言Visual Studio 2005 Team System是微软结合MSF成功开发经验的基础上,首次由软件开发领域延伸至整个软件开发生命周期管理的开发工具.Visual Studio 200 ...
Kafka安装及部署
阅读目录一.环境配置二.操作过程 Kafka介绍安装及部署回到顶部一.环境配置操作系统:Cent OS 7 Kafka版本:0.9.0.0 Kafka官网下载:请点击 JDK版本:1.7. ...
Kafka安装与部署
大数据相关知识点 1. Kafka介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据,具有高性能.持久化.多副本备份.横向扩展能力-- 分布式系统 ...
centos7搭建Linux集群,CentOS 7下Kafka集群安装
一.环境操作系统和软件版本介绍 1.环境操作系统为CentOS Linux release 7.2.1511 (Core) 可用cat /etc/RedHat-release查询 2.软件版本 Kaf ...
win10下kafka集群安装+集成springboot
kafka安装+集成springboot 记录kafka安装.学习.继承springboot的过程文章目录 kafka安装+集成springboot 前言一.kafka + zk的安装 1.zk的 ...
KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
Kafka 入门之集群部署遇到问题
最近,因为上级主管部门需要通过使用Kafka向其传输文件,又因为此前没有接触过kafka,所以在部署测试kafka程序期间遇到很多问题,在这里总结4个问题与1个建议,方便入门者参考也便于遇到类似问题进 ...

【Kafka】kafka的安装以及部署的详细描述

【Kafka】kafka的安装以及部署的详细描述相关推荐

最新文章

热门文章