07.es_thread_pool使用

文章目录

1. 线程池的类型
- 1. fixed
- 2. fixed_auto_queue_size
- 3. scaling 类型线程池
2.相对重要的线程池
- 1. generic线程池
- 2. search线程池
- 3. search_throttled线程池
- 4. get线程池
- 5. analyze线程池
- 6. write线程池
- 7. snapshot线程池
- 8. warmer线程池
- 9. refresh线程池
- 10. listener线程池
3. 修改某个线程池的设置
4. Processors setting

在es这种的每个node都会有多个线程池来处理任务。很多线程池都会有一个queue来缓存一些需要处理的request而不是直接丢弃。
这里会着重介绍比较重要的线程池,在介绍线程池之前我们先介绍es的线程池的都有哪些类型。

1. 线程池的类型

1. fixed

fixed的线程池是一个有固定线程数量的thread pool,而且会有一个固定大小的queue来缓存处理不过来的任务。
下面的方式可以设置一个fixed thread pool

thread_pool:write:size: 30queue_size: 1000

queue_size的值如果不设置的话默认为-1,代表无限大。
当queue被填满的时候请求就会被abort掉。

2. fixed_auto_queue_size

这个是实验性的类型特性，fixed_auto_queue_size的thread的数量是fixed，但是queue的大小是根据一些规则进行变动的。

可以这样设置一个fixed_auto_queue_size thread pool:


thread_pool:search:size: 30queue_size: 500min_queue_size: 10max_queue_size: 1000auto_queue_frame_size: 2000target_response_time: 1s

queue_size 是初始化的queue的size数量
auto_queue_frame_size的作用是用来衡量是否需要扩容的请求数。
target_response_time的含义是当任务的处理时间（加上排队时间）大于1s的时候会对queue进行缩容，来避免大量的超时处理。

3. scaling 类型线程池

这类线程池的thread的数量是可以基于负载的大小动态变化的

可以这样设置一个scaling的线程池

thread_pool:warmer:core: 1max: 8keep_alive: 2m

keep_alive 指定了闲置的线程池达到2m会被回收

2.相对重要的线程池

1. generic线程池

普通线程池，一般用来运行后台任务或者discovery等，是一个大小可以scaling的线程池。

2. search线程池

针对 count/search/suggest 操作 ,线程池的类型是 fixed_auto_queue_size 线程池的大小是固定值 int((# of available_processors * 3) / 2) + 1, 有一个可以伸缩的queue， queue size 初始值是 1000.

3. search_throttled线程池

应对count/search/suggest/get 操作，但是这些对应的索引是search_throttled indices.线程池的类型是 fixed_auto_queue_size thread 的size 是 1, queue_size 的初始值 100.

4. get线程池

get操作对应的线程池，Thread pool 的类型是 fixed ,size 是 available processors, queue_size 是 1000.

5. analyze线程池

analyze 请求对应的线程池, Thread pool 的类型是 fixed ,size 是1, queue size 是16.

6. write线程池

这个线程池对应处理的是index/delete/update请求和bulk请求，Thread pool 的类型是 fixed,size 是 available processors queue size 是 200。thread pool最大的可设置的值为1+ available processors

这个线程池对应处理的是 Thread pool 的类型是 fixed ,size 是 , queue size 是。

7. snapshot线程池

这个线程池对应处理的是snapshot/restore操作，Thread pool 的类型是 scaling,size 最大值是min(5, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的，那么该线程就会别回收。

8. warmer线程池

这个线程池对应处理的是segment warm-up 操作， Thread pool 的类型是scaling,size 最大值是min(5, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的，那么该线程就会别回收。

9. refresh线程池

这个线程池对应处理的是refresh 操作，Thread pool 的类型是scaling,size 最大值是min(10, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的，那么该线程就会别回收。

10. listener线程池

这个线程池对应处理的是java client的操作，Thread pool 的类型是scaling,size 最大值是min(10, (# of available processors)/2), 每个thread的keep-alive时间是5m,如果5m都是空闲的，那么该线程就会别回收。

3. 修改某个线程池的设置

thread_pool:write:size: 30

4. Processors setting

设置elasticsearch动态监测到的processor的数量，这个一般情况下不用设置，只有由于操作系统的原因可能导致检测不准，或者因为对应的服务器上还有其他服务，想要缩小es使用的cpu核数才会使用。

processors: 2