云服务器环境：CentOS 7.6

环境准备(版本见解压命令)：

java环境jdk
zookeeper
Kafka

传送门：kafka安装包，包括jdk，zookeeper和kafka

jdk环境安装

将下载的包上传到服务器/opt/software，解压

tar -zxvf jdk-8u311-linux-x64.tar.gz
tar  -xzvf kafka_2.12-2.3.1.tgz
tar -zxvf apache-zookeeper-3.5.6.tar.gz

重命名，将三个文件夹移动到/usr/local目录下并重新命名

mv kafka_2.12-2.3.1 ./kafka
mv apache-zookeeper-3.5.6 ./zookeepercp -r jdk1.8.0_311/ /usr/local/
cp -r  zookeeper/ /usr/local/
cp -r  kafka  /usr/local/

打开文件环境变量的文件并配置

vim /etc/profile

jdk和zookeeper配置如下

export JAVA_HOME=/usr/local/jdk1.8.0_311
export JRE_HOME=${JAVA_HOME}/jre
export ZOOKEEPER_HOME=/usr/local/zookeeper
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH
export JAVA_PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:${ZOOKEEPER_HOME}/bin:
export PATH=$PATH:${JAVA_PATH}

使配置文件生效：

source /etc/profile

查看是否安装成功，成功如下图所示

java -version

zookeeper环境配置

cd /usr/local/zookeeper/conf/cp ./zoo_sample.cfg zoo.cfg

打开zoo.cfg配置文件

vim zoo.cfg

修改dataDir和dataLogDir配置

dataDir=/usr/local/zookeeper/dataDir
dataLogDir=/usr/local/zookeeper/dataLogDir

在/usr/local/zookeeper/bin/下面启动zookeeper

./zkServer.sh start./zkServer.sh status

成功如下图所示：

kafka安装：

在/usr/local/kafka/config下修改server.properties配置，单机只需要配置logs目录

# 用于本地代码测试线上的kafka的配置
listeners=PLAINTEXT://内网ip:9092
advertised.listeners=PLAINTEXT://外网ip:9092# 单机只需配置，省略新建logs文件夹目录
log.dirs=/usr/local/kafka/logs

在/usr/local/kafka/bin目录下启动kafka

cd  /usr/local/kafka/bin

启动kafka:

./kafka-server-start.sh -daemon ../config/server.properties

查看进程状态：

jps

创建topic:

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic csdn_test

查看topic列表：

./kafka-topics.sh --list --zookeeper localhost:2181

创建生产者测试：

 ./kafka-console-producer.sh --broker-list localhost:9092 --topic csdn_test

创建消费者测试：

./kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic csdn_test --from-beginning

python本地代码测试

生产者测试：

import json
from kafka import KafkaProducerproducer = KafkaProducer(bootstrap_servers='外网ip:9092')msg = "Hello World".encode('utf-8')  # 发送内容,必须是bytes类型
producer.send('test_2', msg)  # 发送的topic为test
producer.close()

前往服务器/usr/local/kafka/bin查看topic列表，看列表中是否有test_2

./kafka-topics.sh --list --zookeeper localhost:2181

如果无法找到这个topic，请参考前面kafka的conf的配置文件server.properties修改如下配置

listeners=PLAINTEXT://内网ip:9092
advertised.listeners=PLAINTEXT://外网ip:9092

消费者测试：

from kafka import KafkaConsumerconsumer = KafkaConsumer('test_2', bootstrap_servers=['外网ip:9092'])
for msg in consumer:print(msg)recv = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, msg.value)

云服务器安装kafka及python连接测试相关推荐

云服务器安装操作系统后如何连接,服务器如何安装操作系统
服务器如何安装操作系统内容精选换一换如果您需要使用毕昇编译器,则需要先在服务端安装毕昇编译器.毕昇编译器基于开源LLVM开发,并进行了优化和改进,同时将flang作为默认的Fortran语言前端 ...
华为云服务器安装Linux并实现本地连接访问
华为云服务器安装Linux并本地连接 redis安装更改redis.conf配置更改华为云安全组,增加入网权限开启6379端口本地连接redis服务器 Linux内客户端连接完成,开发过程中 ...
python连接wifi_Python3控制win10连接wifi热点
一.基础知识 1.netsh简介: netsh(Network Shell) 是一个windows系统本身提供的功能强大的网络配置命令行工具,netsh支持指令如下: 本篇主要讲述如何通过netsh命 ...
云服务器(阿里云)安装kafka及相关报错处理（WARN Connection request from old client /58.247.201.56:31365； will be dropp）
linux下载:wget http://mirrors.hust.edu.cn/apache/kafka/2.0.0/kafka_2.12-2.0.0.tgz 云服务器安装kafka,部署zookee ...
云python服务器_云服务器安装python3
云服务器安装python3 前言购买完云服务器之后,因为云服务器操作系统CentOS7自带的是python2,毕竟现在python3才是主流,很多之前编写的python文件运行有可能报错. 安装py ...
阿里云服务器安装配置 python（CentOS 7.6）
阿里云服务器安装配置 python(CentOS 7.6) 安装配置步骤 1.下载 2.解压编译安装 3.修改yum依赖安装配置步骤 1.下载 ★ 创建目录,安装编译工具. 我这里最开始安装的是py ...
python连接阿里云odps
怎么下载他的库这个就自行百度了,配置完毕之后就用以下代码即可用python连接阿里云odps的数据库了. from odps import ODPS o = ODPS('嘿嘿嘿', #这个地方是阿里云 ...
启明云端分享|ESP32-C3阿里云连接测试
启明云端作为乐鑫代理,一直都尽最大可能做完善的教程能帮助更多的开发小伙伴快速上手各种应用:今天小明为大家带来ESP32-C3连接阿里云的测试,每一个步骤我们都分享出来供小伙伴们参考! 阿里云连接测试 ...
利用PYTHON连接阿里云物联网平台
语言:python 3.7 环境:windows 10 实例:公共实例(免费) 阿里云的官方文档只有C语言和Linux环境,因此自我探索出利用PYTHON连接阿里云物联网平台的方法和步骤. 概述 - ...

云服务器安装kafka及python连接测试

jdk环境安装

zookeeper环境配置

kafka安装：

python本地代码测试

云服务器安装kafka及python连接测试相关推荐

最新文章

热门文章