kafka mysql 迁移,kafka迁移数据目录

问题

先前存储kafka日志的磁盘空间太小，zabbix警报不断，于是加了磁盘，将日志存到新磁盘上。

解决方案

依次在每台机器上操作，保证有机器能响应producer和consumer的操作。

加磁盘需要重启服务器。

1. 拷贝日志

服务器启动后，将以前的日志拷贝到新目录

cp /data/kafka-logs /home/data/kafka-logs

2. 修改配置文件

这里以默认配置文件为例config/server.properties

vim server.properties

#修改log存放位置

log.dirs=/home/data/kafka-logs

3. 启动服务

启动zookeeper(因为zk和broker在同一节点，所以要先启动zk,否则跳过该步骤)

sudo /usr/install/zookeeper/bin/zkServer.sh start

启动broker

nohup sudo /usr/install/kafka/bin/kafka-server-start.sh /usr/install/kafka/config/server.properties &

Tip

在整个集群还没完整迁移完的情况下，操作会报出大量如下错误，此时并不影响producer和consumer进行操作(存活的其余partition会响应相应请求)

WARN Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect (org.apache.zookeeper.ClientCnxn)

java.net.ConnectException: 拒绝连接

at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method)

at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:744)

at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1146)

kafka mysql 迁移,kafka迁移数据目录相关推荐

kafka mirror_SSL Kafka经纪人从Kafka Mirror Maker迁移到Brooklin的挑战
kafka mirror 问题从卡夫卡镜子制造商转移到布鲁克林有我在这里所写的优势. 但是,进行这种迁移并不容易,因为它本来应该如此. 我面临的主要挑战是:在消费者Kafka经纪人和Brooklin ...
SSL Kafka经纪人从Kafka Mirror Maker迁移到Brooklin的挑战
问题从卡夫卡镜子制造商转移到布鲁克林有我在这里所写的优势. 但是,进行这种迁移并不容易,因为它本来应该如此. 我面临的主要挑战是:在消费者Kafka经纪人和Brooklin之间建立SSL连接解 S ...
日志文件和mysql同步到kafka_logstash_output_kafka:Mysql同步Kafka深入详解
0.题记实际业务场景中,会遇到基础数据存在Mysql中,实时写入数据量比较大的情景.迁移至kafka是一种比较好的业务选型方案. 而mysql写入kafka的选型方案有: 方案一:logstash_ ...
日志文件和mysql同步到kafka_logstash_output_kafka:Mysql 同步 Kafka 深入详解
0.题记实际业务场景中,会遇到基础数据存在 Mysql 中,实时写入数据量比较大的情景.迁移至kafka是一种比较好的业务选型方案. 而mysql写入kafka的选型方案有: 方案一:logstas ...
oracle tns 代理配置_OGG实现Oracle到MySQL数据平滑迁移
技术分享 | 使用OGG实现Oracle到MySQL数据平滑迁移 - 爱可生开源社区opensource.actionsky.com 一.OGG概述 OGG全称为Oracle GoldenGate, ...
mysql longtext db2_从 MySQL 或 PostgreSQL 迁移到 DB2 Express-C
从 MySQL 或 PostgreSQL 迁移到 DB2 Express-C 用三个简单步骤迁移到 DB2 Vikram Khatri, Nora Sokolof, 和 Manas Dadarkar ...
金仓数据库 MySQL 至 KingbaseES 迁移最佳实践（3. MySQL 数据库移植实战）
3. MySQL 数据库移植实战由于 KingbaseES 利用 KDTS-PLUS 等多种工具简化移植过程. 本节重点描述了在实际应用中移植一个 MySQL 数据库系统的完整过程,以及其中的主要移 ...
PhpMyAdmin的简单安装和一个mysql到Redis迁移的简单例子
1.phpmyadmin的安装 sudo apt-get install phpmyadmin 之后发现http://localhost/phpmyadmin显示没有此url,于是想到本机上能显示的网 ...
kafka mysql安装与配置_Mac环境canal+mysql+kafka的安装及使用
为了实现实时同步数据,在mac环境搭建了canal,mysql,kafka的一套流程使用canal加mysql加kafka的方式传递数据 mysql 数据源头 canal模仿slave冲mysql ...
mysql storm_flume+kafka+storm+mysql架构设计
前段时间学习了storm,最近刚开blog,就把这些资料放上来供大家参考. 这个框架用的组件基本都是最新稳定版本,flume-ng1.4+kafka0.8+storm0.9+mysql(项目是mave ...

kafka mysql 迁移,kafka迁移数据目录

kafka mysql 迁移,kafka迁移数据目录相关推荐

最新文章

热门文章