Docker Kafka 数据清理

一、删除没用的topic

# 进入kafka

docker exec -it ${containerId} /bin/bash

# 进入kafka/bin

cd opt/kafka_xxx/bin

# 查看kafka describe

kafka-topics.sh --describe --zookeeper ${IP地址}:${端口号}/${containerId}

# 删除无用的topic

kafka-topics.sh --delete --topic fillFile --zookeeper ${IP地址}:${端口号}/${containerId}

二、压缩wsl2磁盘

因为在docker的kafka容器中生产了大量数据，但是仅仅是删除kafka的topic，不会影响C:\Users\{username}\AppData\Local\Docker\wsl\data\ext4.vhdx磁盘大小（默认地址）。

vhdx 后缀的虚拟磁盘文件特点可以自动扩容，但是一般不会自动缩容。所以就需要人为的压缩该磁盘。

# 新建一个命令行窗口

# 查看wsl2状态

wsl.exe --list --verbose

NAME STATE VERSION
docker-desktop Stopped 2
docker-desktop-data Stopped 2

# 需要state为stopped
# 关闭操作

wsl --shutdown

# 使用diskpart工具来压缩wsl2的虚拟磁盘（可能会发生数据损坏，依环境而定）
# 启动diskpart工具

diskpart

# 确定虚拟磁盘文件的位置

# ${username} = Administrator
# ${vhdx文件名} = C:\Users\${username}\AppData\Local\Docker\wsl\data\ext4.vhdx
select vdisk file="${vhdx文件名}"

# 设置为只读（本次操作无需使用）

# attach vdisk readonly

# 压缩操作（等待压缩即可）

compact vdisk

# 显示以下，则表示压缩完成

100 百分比已完成
DiskPart 已成功压缩虚拟磁盘文件

# 退出diskpat

exit

# 可自行查看磁盘占用大小是否减小

Docker Kafka 数据清理相关推荐

kafka数据清理配置——删除篇
前言本意利用kafka实现一个类似redis发布订阅的模式,比redis多了一个数据分区的功能.kafka里面的数据我们是不需要存储的,因此我们需要配置对应的删除策略 Kafka版本号 2.8.1 ...
Kafka数据清理配置
Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩. 数据清理的方式删除 log.cleanup.policy=delete启用删除策略直接删除,删除后 ...
Kafka中数据清理（Log Deletion）
目录 5. Kafka中数据清理(Log Deletion) 5.1 日志删除 5.1.1 定时日志删除任务 5.1.2 基于时间的保留策略 5.1.3 基于日志大小的保留策略 5.1.4 基于日志起 ...
Docker 挂载数据卷、查看数据卷、清理数据卷
Docker 挂载数据卷.查看数据卷.清理数据卷创建容器并设置数据卷挂载查看所有数据卷列表查看`RabbitMQ`插件数据卷的具体信息清除数据卷创建容器并设置数据卷挂载这里以允许Rabbi ...
docker小技巧-清理未使用空间
如果你大量使用 Docker,它会占用很多硬盘空间.本文教你如何彻底清理 Docker,包括清理容器文件.镜像文件.networks数据.虚拟磁盘等等. Docker不对您的系统进行配置更改.但是它可 ...
Docker的常用管理命令Docker将数据挂载到容器的三种方式
文章目录镜像管理命令容器管理常用命令 docker run常用参数 Docker run的其他参数 docker 创建容器命令容器资源限制 docker管理容器常用命令 docker将数据挂载到 ...
kafka学习_《从0到1学习Flink》—— Flink 读取 Kafka 数据写入到 RabbitMQ
前言之前有文章 <从0到1学习Flink>-- Flink 写入数据到 Kafka 写过 Flink 将处理后的数据后发到 Kafka 消息队列中去,当然我们常用的消息队列可不止这一种, ...
Kafka日志清理之Log Compaction
欢迎支持笔者新作:<深入理解Kafka:核心设计与实践原理>和<RabbitMQ实战指南>,同时欢迎关注笔者的微信公众号:朱小厮的博客. 欢迎跳转到本文的原文链接:https: ...
数据清理最终实现了自动化
苹果 | GOOGLE | 现货 | 其他 (APPLE | GOOGLE | SPOTIFY | OTHERS) Editor's note: The Towards Data Science po ...

Docker Kafka 数据清理

一、删除没用的topic

二、压缩wsl2磁盘

Docker Kafka 数据清理相关推荐

最新文章

热门文章