使用confluent本地安装和使用kafka
转载请注明出处:使用confluent本地安装和使用kafka
confluent简介
confluent是平台化的工具,封装了kafka,让我们可以更方便的安装和使用监控kafka,作用类似于CDH对于Hadoop。
confluent是由LinkedIn开发出Apache Kafka的团队成员,基于这项技术创立了新公司Confluent,Confluent的产品也是围绕着Kafka做的。基本架构如下:
官网
https://www.confluent.io
下载地址
https://www.confluent.io/download/
物理机安装参考
Confluent Open Source Quick Start (Local)
docker安装参考
Confluent Open Source Quick Start (Docker)
对比之后感觉比原生的kafka安装简单很多,容器是docker容器的版本,对于我们在k8s中使用很方便。
Confluent的组件
Confluent Platform 包括更多的工具和服务,使构建和管理数据流平台更加容易。
Confluent Control Center(闭源)。管理和监控Kafka最全面的GUI驱动系统。
Confluent Kafka Connectors(开源)。连接SQL数据库/Hadoop/Hive
Confluent Kafka Clients(开源)。对于其他编程语言,包括C/C++,Python
Confluent Kafka REST Proxy(开源)。允许一些系统通过HTTP和kafka之间发送和接收消息。
Confluent Schema Registry(开源)。帮助确定每一个应用使用正确的schema当写数据或者读数据到kafka中。
Confluent的安装
下载地址:
http://www.confluent.io/download
打开后,显示最新版本,在右边填写信息后,点击Download下载。
本次我们主要使用REST Proxy,当然底层的broker也是使用confluent的kafka组件,下面简述安装步骤:
下载confluent4.0.0
wget http://packages.confluent.io/archive/4.0/confluent-oss-4.0.0-2.11.tar.gz
tar xvf confluent-oss-4.0.0-2.11.tar.gz
解压到指定目录下
通过查看目录的内容,能够发现,confluent里面是含有kafka的,也就是说,如果你没有安装kafka,那么可以通过confluent直接对kafka进行安装。如果已经安装了kafka,可以使用confluent提供的插件。
转载请注明出处:使用confluent本地安装和使用kafka
自定义配置
我们可以配置自己需要的和对应配置信息
进入解压出来的confluent-4.0.0
cd confluent-4.0.0
配置zookeeper
vi etc/kafka/zookeeper.properties
内容如下:
dataDir=/var/lib/zookeeper
clientPort=2181
maxClientCnxns=0
配置kafka的broker
vi etc/kafka/server.properties
内容如下:
broker.id=50
delete.topic.enable=true
listeners=PLAINTEXT://192.168.11.91:9092
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
log.dirs=/var/lib/kafka
num.partitions=1
num.recovery.threads.per.data.dir=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=192.168.11.91:2181
zookeeper.connection.timeout.ms=6000
confluent.support.metrics.enable=true
confluent.support.customer.id=anonymous
配置rest proxy
vi etc/kafka-rest/kafka-rest.properties
内容如下:
id=kafka-rest-server
#zookeeper.connect=192.168.11.91:2181
bootstrap.servers=PLAINTEXT://localhost:9092
配置schema registry
vi etc/schema-registry/schema-registry.properties
内容如下:
listeners=http://0.0.0.0:8081
kafkastore.connection.url=192.168.11.91:2181
kafkastore.topic=_schemas
debug=false
启动服务
启动kafka-rest
bin/kafka-rest-start etc/kafka-rest/kafka-rest.properties
上面的这种方式是前台启动,也可以以后台方式启动。
nohup bin/kafka-rest-start etc/kafka-rest/kafka-rest.properties &
启动zookeeper
bin/zookeeper-server-start -daemon etc/kafka/zookeeper.properties
启动kafka broker
bin/kafka-server-start -daemon etc/kafka/server.properties
启动schema registry
bin/schema-registry-start -daemon etc/schema-registry/schema-registry.properties
测试使用
查看topics
浏览器访问或者curl都可以
http://192.168.11.91:8082/topics
查看集群的brokers
curl http://192.168.11.91:8082/brokers
注册consumer group
curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" -H "Accept: application/vnd.kafka.v2+json" --data '{"name": "my_consumer_instance", "format": "json", "auto.offset.reset": "earliest"}' http://localhost:8082/consumers/my_test_consumer
把topic和消费者my_consumer关联起来
curl -X POST -H "Content-Type: application/vnd.kafka.v2+json" --data '{"topics":["bear"]}' http://localhost:8082/consumers/my_test_consumer/instances/my_consumer_instance/subscription
通过rest接口向bear push数据
curl -X POST -H "Content-Type: application/vnd.kafka.json.v2+json" --data '{"records":[{"value":{"name": "testUser"}}]}' "http://localhost:8082/topics/bear"
通过rest接口消费数据
curl -X GET -H "Accept: application/vnd.kafka.json.v2+json" http://localhost:8082/consumers/my_test_consumer/instances/my_consumer_instance/records
删除注册的consumer实例:
curl -X DELETE -H "Accept: application/vnd.kafka.v2+json" http://localhost:8082/consumers/my_test_consumer/instances/my_consumer_instance
转载请注明出处:使用confluent本地安装和使用kafka
更多信息参考
https://github.com/confluentinc/kafka-rest
使用confluent本地安装和使用kafka相关推荐
- 【Kafka】使用confluent本地安装和使用kafka
1.概述 1.1 Confluent Kafka简介 2014年,Kafka的创始人Jay Kreps.NahaNarkhede和饶军离开LinkedIn创立Confluent公司,专注于提供基于Ka ...
- Confluent本地安装和使用
Confluent本地单节点安装 0.前言 [点击这里查看confluent建立连接器与KsqlDB的使用] 我的环境 名字 版本 操作系统 centos7 confluent 5.5.1(商业版) ...
- 大数据Hadoop之——EFAK和Confluent KSQL简单使用(kafka listeners 和 advertised.listeners)
文章目录 一.EFAK概述和安装 二.listeners和advertised.listeners配置详解 三.KSQL使用 1)KSQL架构 2)Confluent安装(ZK/KAFKA/KSQL) ...
- npm全局安装和本地安装和本地开发安装(npm install --g/--save/--save-dev)
详细说明参考:http://www.cnblogs.com/PeunZhang/p/5629329.html 我个人理解: 1.全局安装(npm install -g)是为了用命令行,比如在windo ...
- ruby gem 本地安装方法
问题: railsinstaller中没有默认带有mysql的gem. 使用railsinstaller安装配置完rails环境后,发现无法使用gem update --system等更新或者安装远程 ...
- 本地安装discuz x2.5(论坛站)程序
discuz x2.5教程–本地服务器搭建(集成化环境安装) discuz x2.5教程–本地安装discuz x2.5(论坛站)程序 Discuz! X2.5 RC 全新安装图文教程 转载于:htt ...
- magento本地安装成功后无法进入后台,密码和用户名均正确 .
magento本地安装成功后无法进入后台,密码和用户名均正确 . 解决方法一: 这是一个cookie问题,使用firefox等非IE核心浏览器可以解决这个问题.虽然浏览器处理cookie的方式很相似但 ...
- cygwin用命令安装软件_Cygwin本地安装版
cygwin本地安装版离线即可安装,使用十分方便,适合linux.安卓平台软件开发与测试时使用,倍受行业人员和学者们的青睐. http://www.itmop.com/downinfo/13002.h ...
- nodejs全局安装和本地安装的区别
作者:白树 转载自http://www.cnblogs.com/PeunZh... 上一篇文章<npm 常用命令详解>主要是整理了最常使用的npm命令及相关介绍,其中有提到全局安装(npm ...
最新文章
- Runtime(动态添加属性)
- java招聘 试题_JAVA现场招聘考试题(一)
- 关注:Eclipse,转贴eclipse CDT的开发文章
- 发动机压缩比怎么计算公式_怎么判断发动机有积碳,发动机积碳多的症状有哪些...
- 数据结构与算法——二叉树、堆、优先队列
- Python笔记-函数装饰器
- SpringCloud feign、hystrix、zuul超时配置
- iOS开发实用技术之推送-应用间跳转-社交分享
- uni-app自制表格及其分页
- C# 控制台如何播放音频文件
- 合并两个有序数组js
- 如何使用图灵机器人实现自动回复?
- 百度地图导航工具类,包含骑行步行及驾车导航
- 在线学习编程网站收集
- 美国访问学者生活之行-公交及考驾照
- win10无线网卡无法连接网络
- linux密码安全加固技术-CKEY动态密码技术【顶】
- 第一次暑假实习面试,进入二面就算成功(没有成功)
- 人人站 CMSv1.4.2 已更新,安全升级与功能修复
- SDR技术原理解析 USRP收发原理