java kafka搭建,Apache Kafka 安装步骤
概览
安装过程总共分为 3 大块,第一 Java 环境不必多说,第二 Zookeeper 安装,第三 Kafka 安装。
概念了解
Kafka 有几个重要的概念需要先了解一下
名词
解释
broker
可以理解为 Kafka 所在的服务器
ZooKeeper
分布式服务框架在 Kafka 中的作用主要负责保存 topic,partition 元数据,和对 broker 的监控及治理,以及 partition 的 leader 选举(partition 可以有多个副本,但是只有一个处于工作状态,副本只是负责同步数据,当 leader partition 死掉了,会把一个副本的 partition 升级为 leader )
topic
主题,可以理解为消息的分类
partition
分区,从大的概念来说 topic 中的消息都是存放在 patition 中,一个 topic 可以有多个 partition, 一个 partition 可以有多个副本
offset
偏移量,在 Kafka 中 offset 是 partition 中消息序列号,可以认为是这个消息的唯一标识
segment
多个大小相等的 segment file (段) 组成了一个 partition
Java 环境安装
ZooKeeper框架安装
下载ZooKeeper
cd /opt
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
tar zvxf zookeeper-3.4.14.tar.gz
创建配置文件
cd zookeeper-3.4.14
# 创建数据目录 #
mkdir data
cd conf
cp zoo_sample.cfg zoo.cfg
修改 dataDir
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/opt/zookeeper-3.4.14/data
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
切到 ZK 安装目录,接下来就可以启动 zookeeper 服务器了。
启动 ZooKeeper 服务器
cd /opt/zookeeper-3.4.14 && bin/zkServer.sh start
停止 Zookeeper 服务器
cd /opt/zookeeper-3.4.14 && bin/zkServer.sh stop
重启 Zookeeper 服务器
cd /opt/zookeeper-3.4.14 && bin/zkServer.sh restart
启动响应:
[root@vm172-31-110-6 zookeeper-3.4.14]# bin/zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /opt/zookeeper-3.4.14/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
启动 CLI 连接 ZK,测试连通性,会看到 Welcome to ZooKeeper! 的回显。
cd /opt/zookeeper-3.4.14 && bin/zkCli.sh
Apache Kafka安装
下载 Kafka
cd /opt
wget http://archive.apache.org/dist/kafka/2.2.0/kafka_2.12-2.2.0.tgz
tar zvxf kafka_2.12-2.2.0.tgz
cd /opt/kafka_2.12-2.2.0
配置文件
config/server.properties
启动 Kafka
bin/kafka-server-start.sh config/server.properties
# 生产环境,后台运行 #
cd /opt/kafka_2.12-2.2.0 && nohup bin/kafka-server-start.sh config/server.properties &
停止 Kafka
cd /opt/kafka_2.12-2.2.0 && bin/kafka-server-stop.sh config/server.properties
基本操作
创建一个名为 Hello-Kafka 的主题,其中包含一个分区和一个副本因子。
创建 topic 后,您可以在终端窗口中获取通知,可以在 /tmp/kafka-logs 中看到创建 topic 的日志。
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic Hello-Kafka
要获取 Kafka 服务器中的 topic 列表
bin/kafka-topics.sh --list --zookeeper localhost:2181
启动生产者以发送消息
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic Hello-Kafka
启动消费者以接收消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic Hello-Kafka --from-beginning
删除主题
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic Hello-kafka
界面管理工具
总结
Apache Kafka 教程 https://www.w3cschool.cn/apache_kafka/
以上是 Kafka 安装和一些使用的简单操作,生产环境 Kafka Cluster 的配置和运维比这复杂一些,需要修改不同的配置文件。
java kafka搭建,Apache Kafka 安装步骤相关推荐
- Windows中Apache下载安装步骤
Windows中Apache下载安装步骤 一.在官网下载Apache 1.打开Apache官网http://httpd.apache.org(或百度"download Apache" ...
- 【kafka】Apache Kafka 中的事务
文章目录 1.概述 本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载. 1.概述 翻译:https://www.confluent.io/blog/tran ...
- kafka --org.apache.kafka.common.config.ConfigException: No resolvable bootstrap urls given in bootst
报错内容: Exception in thread "main" org.apache.kafka.common.KafkaException: Failed to constru ...
- 关于监控日志中间件(filebeat,zookeeper,kafka,elasticsearch)的安装步骤
filebeat中的filebeat.yml实现的配置信息要素 filebeat.prospectors #用于定义数据原型,检测日志或是发现日志 - input_type: log #指定数据的输入 ...
- 1,windows java环境搭建,eclipse安装、tomcat配置,快速创建jsp页面
1 环境搭建: jdk配置+eclipse下载 请参考:https://www.cnblogs.com/ForestDeer/p/6647402.html tocat下载地址:http://mirro ...
- java——Java环境搭建:JDK安装、常用命令
如何使用java java语言的产品时JDK(Java Development Kit:Java开发者工具包),必须安装JDK才能使用Java语言 下载java ①在浏览器中输入oracle,点击or ...
- java apache tomcat,Java 环境搭建+ Apache tomcat
一.JDK安装 1.下载安装jdk7.0 for linux 2.http://www.Oracle.com/technetwork/java/javase/downloads/java-se-jdk ...
- java(JDK)环境安装步骤以及环境变量配置
JDK安装以及环境变量配置 1,下载jdk1-8版本 2,双击进行安装,只需选择安装路劲点击下一步下一步即可.注:jdk和jre安装在同一目录. 3.配置环境变量 (1)打开我的电脑属–高级系统设置– ...
- Apache Hue:安装步骤
Apache Hue Hue的安装 第一步: 上传解压安装包 第二步 : 编译初始化工作 第三步:Hue初始化配置 第四步: 创建mysql中Hue使用的DB 第五步:编译Hue 第六步:启动Hue. ...
最新文章
- IE浏览器上传文件时本地路径变成”C:\fakepath\”的问题
- 什么是面向对象(OOP)
- 性能优化:Sql语句中HINT不起作用
- 通过python实现linux切换用户_Python实现在Linux系统下更改当前进程运行用户
- python3精要(18)-函数主要概念
- 【鬼网络】之部署YUM仓库大全
- python easygui进度条_Python _easygui详细版
- 2006 mysql_MySQL 2006 超时
- ODrive踩坑(一)windows下使用环境的搭建,odrivetool及USB驱动的安装
- QLoo graphql engine 学习二 基本试用(kubernetes)
- html table control,HtmlTable.HtmlTableRowControlCollection
- 网站SEO实践之 - seo引流怎么选有流量的关键词
- java实现表情符号过滤
- 微软与纳斯达克开展合作将区块链产品整合至纳斯达克服务中
- NodeJS结束进程
- 3 分钟带你看懂 Acala EVM
- 百度网盘已安装却在开始菜单找不到该文件
- 网络直播不应只是秀场,新的场景机会在哪?
- 手机电话号码吉凶查询原理及ASP算法源码 转
- eterm共享/放大/API接口
热门文章
- ie浏览器模拟器_航空飞机模拟器安卓版下载-航空飞机模拟器游戏下载
- java 播放swf_我用java写了一个播放swf动画的类运行时报错了,代码和报错如下…...
- python网络编辑 socket篇
- python中elif和while简单介绍及注意事项(含笔记)
- 同花顺如何切换k线_K线之形态学:浅谈纸白银产品该如何去做好交易?
- 1年排名前进13位 ,这个论题成顶会新宠!
- 机器学习从理论到工程的第二步-开发环境与工具篇
- 论文浅尝 | 基于深度强化学习的远程监督数据集的降噪
- CCKS 2018 | 最佳论文:南京大学提出 DSKG,将多层 RNN 用于知识图谱补全
- 【NLP-NER】命名实体识别