tidb load data file 失败_TIDB运维之数据导入与导出
本文章仅针对4.0.0版本。
1. 介绍:
TIDB使用Dumpling工具进行数据导出, 使用Lightning工具进行数据恢复。
导出时直接使用Dumpling工具即可导出, 导入时需要先启动tikv-importer再使用tidb-lightning进行数据导入.
TiDB Lightning 运行后,TiDB 集群将无法正常对外提供服务
若tidb-lightning
崩溃,集群会留在“导入模式”。若忘记转回“普通模式”,集群会产生大量未压缩的文件,继而消耗 CPU 并导致延迟。此时,需要使用tidb-lightning-ctl
手动将集群转回“普通模式”:
bin/tidb-lightning-ctl -switch-mode=normal
2. 数据导出-Dumpling
下载工具:https://download.pingcap.org/tidb-toolkit-{version}-linux-amd64.tar.gz
以4.0.0为例:
wget https://download.pingcap.org/tidb-toolkit-v4.0.0-linux-amd64.tar.gz
tar -xvf tidb-toolkit-v4.0.0-linux-amd64.tar.gz/root/tidb-toolkit-v4.0.2-linux-amd64/bin/dumpling -u root -P 4000 -p xxxxxxxx -h 127.0.0.1 --filetype sql --threads 32 -o /tmp/test --filter "test_mysql.*"
3. 数据恢复-tikv-importer 和 tidb-lightning
3.1 配置tikv-importer
vi tikv-importer.toml
# TiKV Importer 配置文件模版# 日志文件。
log-file = "tikv-importer.log"
# 日志等级:trace、debug、info、warn、error、off。
log-level = "debug"[server]
# tikv-importer 监听的地址,tidb-lightning 需要连到这个地址进行数据写入。
addr = "xxx.xx.xxx.xx:xxxx"[import]
# 存储引擎文档 (engine file) 的文件夹路径。
import-dir = "/mnt/ssd/data.import/"nohup /root/tidb-toolkit-v4.0.2-linux-amd64/bin/tikv-importer -C tikv-importer.toml > nohup.out &
3.2 使用tidb-lighting导入
#!/bin/bash
nohup /root/tidb-toolkit-v4.0.2-linux-amd64/bin/tidb-lightning
--importer xxx.xx.xxx.xx:xxxx
-d /tmp/test/
--tidb-host xxx.xx.xxx.xx
--tidb-user root
--tidb-port 4000
-tidb-status 10080
--pd-urls xxx.xx.xxx.xx:2379
--log-file tidb-lightning.log
> nohup.out &
3.3 troubleshot
3.3.1 中途取消导入, 再次尝试
遇到错误: [error="rpc error: code = Canceled desc = context canceled"]
解决方法:
删除tikv-importer缓存文件,并重启tikv-importer.
1. 到import-dir手工删除
cd /mnt/ssd/data.import/
rm -rf ./.temp2. 使用tidb-lightning-ctl删除
./tidb-lightning-ctl
-tidb-host xxx.xx.xxx.xx
-tidb-user root
-tidb-port 4000
-tidb-status 10080
-pd-urls xxx.xx.xxx.xx:2379
-log-file tidb-lightning_tool.log
-importer xxx.xx.xxx.xx:8287
3.3.2 "TiDB Lightning has failed last time; please resolve these errors first"
failed: checksum mismatched remote vs local
rm -rf /tmp/tidb_lightning_checkpoint.pb
tidb load data file 失败_TIDB运维之数据导入与导出相关推荐
- 运维大数据可视化分析平台来了,枯燥运维数据也可以生动起来
数字时代监控运维系统数据量暴增,指标.日志.代码堆栈.网络数据包等等时间序列数据从每天几百兆采集量膨胀到每天上百GB,上TB.由于故障总是偶发,而监控数据在故障发生回朔时才更有价值. 如何利用这些低价 ...
- 中国民生银行:智能运维引领数据中心数字化转型
今天我演讲的题目是<智能运维引领数据中心数字化转型>,跟大家分享民生银行在智能运维领域的探索和实践. 01 数字化转型,运维新挑战 金融行业是对信息技术应用最为广泛和彻底的行业.首先,我从 ...
- linux 安装git失败,Linux运维知识之linux下安装git常见故障整理
本文主要向大家介绍了Linux运维知识之linux下安装git常见故障整理,通过具体的内容向大家展现,希望对大家学习Linux运维知识有所帮助. FAQ1: Permission denied (pu ...
- 实践:在运维大数据这事上,Apache Kylin比ELK更擅长?
题图: from Zoommy 记得十年前,我曾问过一名应用运维工程师,如何用两个关键词描述下自己的日常工作? 他居然不假思索,略带调侃的回答我, "背锅" 与 "惊醒& ...
- 数据库load data命令批量插入txt文件的数据
进入mysql命令行 如果出现不允许外部文件的导入可以 在mysql客户端输入: set global local_infile=1; 准备好实验数据 public static void main( ...
- 运维日志 数据备份同步的几个方案
博客链接 https://uublog.com/article/20170317/ops-log-backup-rsysnc-sersync-inotify-tools/ 最近公司有这么一个需求.某E ...
- 运维宝典 | 数据千万条,备份第一条,数据找不回,老板两行泪
开工第一天,请带着你的回忆看下文,想想你这些年删过的库,被删过的库... 数据库备份是个老生常谈的话题,看似很简单,但在实际操作过程中,运维人员往往会遇到这样或那样的"坑". 数据 ...
- sql导入excel数据失败_nifi入门从Excel数据导入ES开始
概述 nifi为不同系统间数据流动而生,其可视化的界面操作允许用户零编码实现不同系统间的数据流转.Nifi的架构如下图所示: NiFi在操作系统上的JVM内执行,JVM上NiFi的组件包括Web Se ...
- linux list 添加失败,linux运维实战案例之Argument list too long错误与解决方法
1.错误现象 这是一台Mysql数据库服务器,在系统中运行了很多定时任务,今天通过crontab命令又添加了一个计划任务,退出时发生了如下报错: #crontab -e 编辑完成后,保存退出,就出现下 ...
最新文章
- Blockchain区块链架构设计之四:Fabric多通道和下一代账本设计
- 小白自学Java框架,框架的全面解析总结
- Docker 常见问题汇总
- 两种方法将Android NDK samples中hello-neon改成C++
- python中的str方法和repr方法_Python中 的 __str__ 方法和 __repr__ 方法的区别有哪些
- 地址null一个简单的第三人称汽车驾驶系统
- java 定义接口school_Java接口介绍
- python中的sorted是什么意思_Python中sorted()排序与字母大小写的问题
- iovec结构体定义及使用 (转)
- 不符合C语言语法常量,C语言题目:若变量已正确定义并赋值,为什么“a=a+7=c+b”不符合C语言语法的表达式?...
- Cadence Orcad Capture属性窗口转置的方法图文教程
- Microsoft Office Visio 2007 下载
- 视频教程-屏幕录像专家录制超清视频教程-Windows
- 服务器cmd升级系统命令,02-软件升级操作指导(命令行版)
- freyja2多数据源版本
- 姿态估计1-04:FSA-Net(头部姿态估算)-白话给你讲论文-翻译无死角(2)
- android车载系统测试,【图】原生安卓来了!Polestar 2智能车联测试_汽车之家
- 仪表板展示|DataEase可视化数据分析工具中的仪表板跳转和联动设置
- linux查看dns命令
- DFPlayer Mini资料 随手记