官网：http://kafka.apache.org/quickstart

Kafka强依赖ZK，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK，那是因为Kafka内置了一个ZK，一般我们不使用它。

kafka 在CDH当中kafka是独立分支（跟zookeeper的版本可以不一样）

一：准备工作

1.zookeeper部署

[root@yws85 zookeeper-3.4.6]# bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@yws85 zookeeper-3.4.6]#
[root@yws86 zookeeper-3.4.6]#  bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
[root@yws86 zookeeper-3.4.6]#
[root@yws87 zookeeper-3.4.6]#  bin/zkServer.sh status
JMX enabled by default
Using config: /opt/software/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@yws87 zookeeper-3.4.6]#

如何看kafka_2.11 - 0.10.0.1.tgz
scala 是 2.11 版本
kafak是 0.10.0.1 kafka版本（生产上用0.10版本足以，没有必要使用官网提供的更高版本，生产求稳，）
问题：那为什么非得选择0.10.这个版本呢

kafka 后面对接Spark Streaming

网址连接：http://spark.apache.org/docs/latest/streaming-kafka-integration.html

2.JDK部署

3. scala部署

scala-2.11.8.tgz
tar -xzvf scala-2.11.8.tgz（解压）
chown -R scala-2.11.8（修改权限）
ln -s scala-2.11.8 scala（设置软连接）
（配置环境变量）
export SCALA_HOME=/opt/software/scala-2.11.8
export PATH=$SCALA_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$FLINK_HOME/bin:$PATH

4.事先有的zk，不确定zk是否有kafka残留信息

cd zookeeper/bin
./zkCli.sh
ls / (根目录看一下有没有)
help
rmr /kafka

[zk: localhost:2181(CONNECTED) 2] ls /kafka
[controller_epoch, brokers, admin, isr_change_notification, consumers, config]
[zk: localhost:2181(CONNECTED) 3] rmr /kafka

生产上很常见，一旦kafka出现问题，需要重新部署的时候，一定要清理干净在部署

二：下载

kafka下载网址：http://mirrors.hust.edu.cn/apache/kafka/0.10.2.2/

[root@yws87 kafka]# mkdir logs  （创建存储目录）[root@yws87 config]# vi server.properties （相当于broker配置服务端）
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=3
port=9092
host.name=192.168.0.87
日志
# A comma seperated list of directories under which to store log files
log.dirs=/opt/software/kafka/logs
（这里之前使用了软连接，操作方便，如果版本多更容易乱）
zookeeper关联（本身带zookeeper，这里会有默认配置，我们是集群这里要进行如下配置）
zookeeper.connect=192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka
注意：/kafka我们在这里加了一个这个，，
原因：是因为kafka文件下有很多文件夹。这样操作更方便管理，和日后删除然后scp复制到另外2台机器，在配置文件中更改

三：启动

[root@yws87 kafka]# nohup bin/kafka-server-start.sh config/server.properties  &
[1] 19455
[root@yws87 kafka]# nohup: ignoring input and appending output to ‘nohup.out’[root@yws87 kafka]#
[root@yws87 kafka]# tail -F nohup.out
[root@yws87 config]# jps
21234 Jps
10590 QuorumPeerMain
19455 Kafka

Kafka的安装部署（分布式部署安装）相关推荐

从安装docker到部署es集群管理的艰辛之旅
前言好久没有更新博客了 , 最近也是一直在忙 , 上班搬砖 , 下班深造自己 ; 偶尔打打王者 , 哈哈 , (留言带你们飞 , 哈哈) 最近呢 , 因为加了台新的服务器 , 需要把现有的es集群全 ...
加速深度学习在线部署，TensorRT安装及使用教程
向AI转型的程序员都关注了这个号???????????? 机器学习AI算法工程公众号:datayx 1 什么是TensorRT 一般的深度学习项目,训练时为了加快速度,会使用多GPU分布式训练. ...
项目四 CentOS使用kubeadm部署工具部署测试环境的K8s集群---Kubectl命令使用以及安装dashboard界面
大家好,我是SuieKa.在之前呢有幸学习了马哥教育提供的K8s入门指南以及视频.初来乍到,写一篇关于K8s的介绍以及部署测试环境使用的K8s集群. 树 @·K8s入门简单介绍一.K8s(Kuber ...
基于Docker安装Jenkin并部署项目
基于Docker安装Jenkin并部署项目一.安装 1.1 安装Docker 点击查看笔记:Docker安装 1.2 安装Docker Compose # 1.下载文件,使用的是国内镜像 curl ...
Docker安装下载镜像部署容器备份创建私服
Docker 学习目标: 掌握Docker基础知识,能够理解Docker镜像与容器的概念完成Docker安装与启动掌握Docker镜像与容器相关命令掌握Tomcat Nginx 等软件的常用应用 ...
Dubbo：Zookeeper安装+Dubbo管理控制台部署
Zookeeper安装+Dubbo管理控制台部署 Dubbo:一个分布式的RPC框架 RPC: 远程过程调用 RPC:Registry Provider Consumer Dubbo官方建议使 ...
Openstack（T版）私有云平台＜环境部署＞及安装＜keystone组件＞
文章目录一.基础环境配置 1. 下载基础工具包 2. 下载open stack t版客户端 3. 配置hosts主机映射 4. 三台主机做免交互 5. 配置时间同步二.系统环境配置 1. 配置M ...
SharePoint Server 2016 部署安装（三）—— 安装SharePoint Server
上一篇文章我们说到了安装SharePoint Server 2016 之前所需要做的准备工作.那么今天就来直接讲讲SharePoint Server的部署安装了. 由于我们的测试环境是单台的 Sing ...
项目部署mysql安装_Tomcat7+jdk+mysql安装及项目部署
Tomcat7+jdk+mysql安装及项目部署 1. 下载tomcat7.jdk.mysql apache-tomcat-7.0.42.tar.gz jdk-7u25-linux-i586.gz m ...
centos losf 安装_Linux Centos7部署环境安装-CentOS
Linux Centos7部署环境安装-CentOS Centos7部署环境安装及Linux常用命令 centos系统下各文件夹的作用 centos7修改系统默认语言 centos7安装rz/sz命令 ...

Kafka的安装部署（分布式部署安装）