TiDB学习笔记（七）-数据库系统优化

一、操作系统参数

CPU

dynamic frequency scaling 五种功耗模式 performance 时刻保持高速运转

cpupower frequency-set --governor performance

NUMA Binding 为CPU绑定内存，提升效率

Memory

Transparent Huge Page（THP）关闭大页内存

Virtual Memory Parameters 脏数据写入内存

dirty_backgroud_ratio=10%

dirty_ratio=20%

Disk

I/O scheduler 推荐NOOP,先来先执行

Mount Parameters

关闭noatime和nodiatime记录时间的操作

二、TiDB Server 关键性能参数与优化

Performance

max-proc 控制tidb server的CPU核数

token-limit 同时执行请求的session的数量

force-priority 控制tidb server的优先级，全表扫描自动设置为LOW_PRIORITY

commiter-concurrency 控制一个事务commit阶段的最大的并发量。

Tikv Client

grpc-connection-count 设置tidb和每个tikv之间的gRPC连接数量

Prepared Plan Cache

enabled 减少执行计划造成的开销

capacity 限制cache缓存的条数，避免占用过多的内存

System Variables

Concurrency 设置并发度

Batch Size

tidb_init_chunk_size/tidb_max_chunk_size chunk包含多行数据

tidb_index_join_batch_size

Limit

tidb_store_limit 同时发往一个tikv节点的请求数量

tidb_retry_limit 控制乐观事务的重试次数

Backoff

tidb_backoff_weight 调整最大重试时间

tidb_backoff_lock_fast 读请求遇到锁的backoff时间

三、PD 关键性能参数与优化

调度流程

信息收集（store、region）->生成调度->执行调度

控制operator产生速度的参数

消费限速store limit，限制单个store的消费速度

pd-ctl -u ip:port store limit <id> <value>

存储空间阈值参数 high-space-ratio默认0.6,low-space-ratio默认0.8。指的是tikv的空间

扩容后balance region调度速度慢

store节点故障后补副本的速度慢

region merge速度慢

四、TiKV 关键性能参数与优化

tikv数据写入流程 scheduler pool->raftstore pool->rocksdb raft log ->apply pool ->rocksdb kv

->raft log传输到其他的tikv节点

写入瓶颈分析

读取瓶颈分析

write stall,瞬时写入的数据过多时，rocksdb对写入进行减速。

可能发生write stall的原因：

超过rocksdb的max-write-buffer-number
level0-file-num-compaction-trigger，level-slowdown-writers-trigger(达到此值时会触发write stall)，level0-stop-writes-trigger(停止写入)
compression-per-level

slow query

线程池调优

gPRC线程池负责网络IO，反序列化， server.grpc-concurrency 默认为4，CPU<=8时为2
Scheduler线程池将复杂事务转换为简单的key-value读写 storage.scheduler-worker-pool-size CPU>=16时为8，CPU<16时为4
Raftstore线程池所有的写请求都会在raftstore通过fsync方式写入到rocksdb，raftstore.store-pool-size默认为2
UnifyReadPool 负责所有读请求 readpool.unified.max-thread-count为CPU数的80%
RocksDB线程池 RocksDB进行 Compact 和 Flush 任务

内存参数调优

Follower Read session变量tidb_replica_read设置为follower或leader-and-follower，设置为leader-and-follower时，读请求会在leader和follower之间负载均衡

五、TiDB 集群常用监控指标

内存参数调优

tidb_mem_quota_query单条SQL使用内存限制通过session变量控制，前提是配置了oom-action = "log"
mem-quota-query每个查询默认的内存限制参数
server-memory-quota tidb-server内存限制
memory-usage-alarm-ratio 使用内存达到总内存的比例时报警