上期回顾

特别篇:java实现将视频分片上传到minio(二):视频文件写入到minio:
视频分片

实现想法

公司有个需求，将收到的数据写到阿里oss，然后将阿里oss图片地址和缩略图地址写到kafka中。
这一期我们先安装kafka

kafka安装

下载kafka

kafka_2.13-2.8.1.rar 安装包。支持大字符串生产和消费(已修改过配置)

支持大字符串推送到kafka(已修改请忽略)

config/producer.properties
修改max.request.size大小

#10M
max.request.size=10485760

config/server.properties增加配置

#设置zookeeper地址
listeners=PLAINTEXT://你的ip:9092
# 设置了socket server接收的最大请求大小
socket.request.max.bytes=10485760
# kafka数据文件的大小，确保这个数值大于一个消息的长度。一般说来使用默认值即可（一般一个消息很难大于1G，因为这是一个消息系统，而不是文件系统）。
log.segment.bytes=10485760
# 设置了kafka server接收的最大消息大小，应小于等于socket.request.max.bytes
message.max.bytes=10485760
#每个分区试图获取的消息字节数。要大于等于message.max.bytes，否则broker会接收此消息，但无法将此消息复制出去，从而造成数据丢失。
replica.fetch.max.bytes=10485760      #每个提取请求中为每个主题分区提取的消息字节数。要大于等于message.max.bytes，否则broker就会因为消费端无法使用这个消息而挂起。
fetch.message.max.bytes=10485760

更改config/zookeeper.properties文件夹路径

dataDir=E:\kafka_2.13-2.8.1\logs

启动zookeeper和kafka

启动遇到的问题

原因:文件夹套的太多了。

解决方案:将kafka_2.13-2.8.1放到D盘或E盘文件夹就可以了。不要套太多文件夹

w10启动zookeeper

在kafka_2.13-2.8.1文件夹下进入dos命令行

.\bin\windows\zookeeper-server-start.bat .\config\zookeeper.properties

w10启动kafka

在kafka_2.13-2.8.1文件夹下进入dos命令行

.\bin\windows\kafka-server-start.bat .\config\server.properties

java交流群（限订阅了的加）:868794080

源码地址

win10安装kafka kafka_2.13-2.8.1相关推荐

Win10安装Kafka步骤
1.安装zookeeper 2.安装Kafka 前提:电脑有JDK环境(已经安装JDK) ============1.安装zookeeper============ 1.下载安装文件:https:// ...
【win10安装Kafka发消息及消费】
一.安装zookeepe的方式 1.zookeeper安装(Kafka2.8.0后不需要安装ZK) 下载安装文件:Index of /dist/zookeeper/zookeeper-3.4.10 I ...
win10安装kafka
最近在学习消息中间件,ActiveMQ.RabbitMQ都进行了最基本的了解,现在开始学习Kafka.学习kafka的第一个问题就是安装kafka,于是在网上进行了疯狂的寻找,功夫不负有心人,终于找到 ...
Win10下kafka简单安装及使用
Win10下kafka简单安装及使用 kafka下载连接 https://www.apache.org/dyn/closer.cgi?path=/kafka/3.1.0/kafka_2.12-3.1. ...
Docker安装Kafka（docker-compose.yml）
Docker安装Kafka(docker-compose.yml) 前置条件请先安装Docker 创建docker-compose.yml文件 version: '2' services:zooke ...
centeros 7 安装kafka
centeros 安装kafka 1.官网 http://kafka.apache.org/downloads找到 Scala 2.13 - kafka_2.13-2.7.0.tgz (asc, sh ...
Centos_7.2 下构建 Kafka_2.13 分布式消息系统的单机版
如何在 Centos_7.2 下构建 Kafka_2.13 分布式消息系统的单例模式一.前言本文对于 kafka 分布式消息系统,是一个不错的入口点,首先从安装开始,这样就可以对 kafka 有一 ...
Linux上安装Kafka和Kafka的使用
如有侵权,私信立删修改时间:2020年3月30日作者:pp_x 邮箱:pp_x12138@163.com 文章目录 Kafka集群搭建虚拟机中搭建 Kafka 集群准备工作 Zookeeper ...
从安装Kafka服务到运行WordCount程序
之所以写这篇文章,是因为Kafka初学的同学在了解了Kafka的基本原理之后,希望在自己的机器上面运行最简单的wordCount的时候,从开始安装Kafka到找到合适的example源码最后到成功运行 ...

win10安装kafka kafka_2.13-2.8.1