TiDB Lightning 简介

TiDB Lightning 是用于从静态文件导入 TB 级数据到 TiDB 集群的工具，常用于 TiDB 集群的初始化数据导入。

要快速了解 Lightning 的基本原理和使用方法，建议先观看下面的培训视频（时长 32 分钟）。注意本视频只为学习参考，具体操作步骤和最新功能，请以文档内容为准。

TiDB Lightning 支持以下文件类型：

Dumpling 生成的文件
CSV 文件
Amazon Aurora 生成的 Apache Parquet 文件

TiDB Lightning 支持从以下位置读取：

本地
Amazon S3
Google GCS

TiDB Lightning 整体架构

TiDB Lightning 目前支持两种导入方式，通过backend配置区分。不同的模式决定 TiDB Lightning 如何将数据导入到目标 TiDB 集群。

Physical Import Mode：TiDB Lightning 首先将数据编码成键值对并排序存储在本地临时目录，然后将这些键值对上传到各个 TiKV 节点，最后调用 TiKV Ingest 接口将数据插入到 TiKV 的 RocksDB 中。如果用于初始化导入，请优先考虑使用 Physical Import Mode，其拥有较高的导入速度。
Logical Import Mode：TiDB Lightning 先将数据编码成 SQL，然后直接运行这些 SQL 语句进行数据导入。如果需要导入的集群为生产环境线上集群，或需要导入的目标表中已包含有数据，则应使用 Logical Import Mode。

导入模式	Physical Import Mode	Logical Import Mode
速度	快 (100 ~ 500 GiB/小时)	慢 (10 ~ 50 GiB/小时)
资源使用率	高	低
占用网络带宽	高	低
导入时是否满足 ACID	否	是
目标表	必须为空	可以不为空
支持 TiDB 集群版本	>= v4.0.0	全部
导入期间是否允许 TiDB 对外提供服务	否	是

注意

以上性能数据用于对比两种模式的导入性能差异，实际导入速度受硬件配置、表结构、索引数量等多方面因素影响。

TiDB Lightning 简介相关推荐

探索TiDB Lightning源码来解决发现的bug
背景上一篇<记一次简单的Oracle离线数据迁移至TiDB过程>说到在使用Lightning导入csv文件到TiDB的时候发现了一个bug,是这样一个过程. Oracle源库中表名都是大 ...
TiDB Lightning 故障处理
本文档总结了使用 TiDB Lightning 过程中常见的运行故障及解决方案. TiDB Lightning 导入速度太慢 TiDB Lightning 的正常速度为每条线程每 2 分钟导入一个 2 ...
TiDB Lightning 常见问题
本文列出了一些使用 TiDB Lightning 时可能会遇到的问题与答案. TiDB Lightning 对 TiDB/TiKV/PD 的最低版本要求是多少? TiDB Lightning 的版本应 ...
部署 TiDB Lightning
本文主要介绍 TiDB Lightning 进行数据导入的硬件需求,以及手动部署 TiDB Lightning 的方式.Lightning 不同的导入模式,其硬件要求有所不同,请先阅读: Physic ...
TiDB Lightning 数据源
TiDB Lightning 支持从多种类型的文件导入数据到 TiDB 集群.通过以下配置为 TiDB Lightning 指定数据文件所在位置. [mydumper] # 本地源数据目录或 S3 等 ...
TiDB Lightning 快速上手
本教程假设使用的是若干新的.纯净版 CentOS 7 实例,你可以(使用 VMware.VirtualBox 及其他工具)在本地虚拟化或在供应商提供的平台上部署一台小型的云虚拟主机.因为 TiDB L ...
TiDB备份与恢复简介
本文档介绍如何对 Kubernetes 上的 TiDB 集群进行数据备份和数据恢复.备份与恢复中所使用的工具有 Dumpling.TiDB Lightning 和 BR. Dumpling 是一个数据 ...
TiDB Lightning 断点续传
大量的数据导入一般耗时数小时至数天,长时间运行的进程会有一定机率发生非正常中断.如果每次重启都从头开始,就会浪费掉之前已成功导入的数据.为此,TiDB Lightning 提供了"断点续传& ...
TiDB Cloud简介
目录多租户 TiDB Cloud TiDB Cloud入门 Developer Tier Dedicated Tier TiDB Cloud实现示例其他TiDB Cloud端门户摘要:云与本地部 ...

TiDB Lightning 简介

TiDB Lightning 整体架构

TiDB Lightning 简介相关推荐

最新文章

热门文章