OLAP分析引擎Druid配置文件详解(五):MiddleManager配置文件
摘要:
本文是Druid配置文件系列博文的第五篇,我们将继续逐个介绍Druid的五大组件,本文将开始介绍Data Server中的middle manager和peon组件。
以下配置都在middleManager/runtime.properties文件中。
MiddleManager Process Config
这些配置在其他组件中也都有,这里不太详细介绍,如需了解请查看之前的一篇博文Coordinator配置文件
MiddleManager Configuration
Middle manager需要传递他们的配置到子peon节点,需要以下配置:
属性 | 含义 | 备注 | 是否需要修改 |
---|---|---|---|
druid.indexer.runner.allowedPrefixes | 可以传递给子peon节点的前缀白名单 | 默认值是"com.metamx", “druid”, “org.apache.druid”, “user.timezone”, “file.encoding”, “java.io.tmpdir”, “hadoop” | 按需修改 |
druid.indexer.runner.compressZnodes | middle manager是否应该压缩Znode | 默认true | 一般不修改 |
druid.indexer.runner.classpath | peon的java classpath | 默认System.getProperty(“java.class.path”) | 一般不修改 |
druid.indexer.runner.javaCommand | 执行java需要的命令 | 默认java | 一般不修改 |
druid.indexer.runner.javaOpts | 「已废弃,使用javaOptsArray代替」传递给peon JVM的-X Java选项字符串 | 默认“” | 已废弃,一般不使用 |
druid.indexer.runner.javaOptsArray | 一个用于给peon传递jvm参数的字符串数据 | 默认[],例子["-XX:OnOutOfMemoryError=kill -9 %p"] | 按需配置 |
druid.indexer.runner.maxZnodeBytes | zk中Znode最大字节数 | 默认524288 | 一般不修改 |
druid.indexer.runner.startPort | peon使用的开始端口号 | 默认8100,应该大于1023,小于65536 | 一般不修改 |
druid.indexer.runner.endPort | peon使用的结束端口号 | 默认65535,应该大于startPort小于65535 | 一般不修改 |
druid.indexer.runner.ports | 一个用于指定peon端口号的数字数组,如果这个数组不为空,则peon端口号从这里取,startPort和endPort失效 | 默认[] | 按需配置 |
druid.worker.ip | worker的ip | 默认localhost | 一般不修改 |
druid.worker.version | Middle manager的版本标识符 | 默认0 | 一般不修改 |
druid.worker.capacity | middle manager可接受任务的最大数量 | 默认cpu数-1 | 按需配置 |
druid.worker.category | middle manager节点属于的目录名 | 默认__default_worker_category | 按需配置 |
Peon Processing
属性 | 含义 | 备注 | 是否需要修改 |
---|---|---|---|
druid.processing.buffer.sizeBytes | 指定用于存储中间结果的缓冲区大小 | 默认auto,最大1GB | 按需配置 |
druid.processing.buffer.poolCacheMaxCount | 用于缓存buffer的池子的最大大小(能缓存的buffer数量) | 默认Integer.MAX_VALUE | 一般不修改 |
druid.processing.formatString | 线程命名格式 | 默认processing-%s | 一般不修改 |
druid.processing.numMergeBuffers | 用于合并查询结果的可用的直接内存buffer的数量,每个buffer的大小是sizeBytes | 默认max(2, druid.processing.numThreads / 4) | 按需配置 |
druid.processing.numThreads | segment并行处理的线程数量 | 默认cpu核数-1,至少为1 | 按需配置 |
druid.processing.columnCache.sizeBytes | 维度值查询缓存的最大字节数 | 默认0,即禁止使用 | 按需配置 |
druid.processing.fifo | 相同优先级的任务是否按照先进先出的策略 | 默认false | 一般不修改 |
druid.processing.tmpDir | 处理应该存储的查询时中间文件保存地址 | 默认 java.io.tmpdir表示的路径 | 一般不修改 |
Peon Caching
属性 | 含义 | 备注 | 是否需要修改 |
---|---|---|---|
druid.realtime.cache.useCache | 在实时阶段是否使用缓存 | 默认false | 一般不修改 |
druid.realtime.cache.populateCache | 是否填充缓存 | 默认false | 一般不修改 |
druid.realtime.cache.unCacheable | 所有不被cache的查询类型 | 默认[] | 默认不修改 |
druid.realtime.cache.maxEntrySize | 最大缓存字节数 | 默认1_000_000 | 按需修改 |
Additional Peon Configuration
尽管peon继承了MiddleManager的配置,但可以在它们中间添加以下前缀来设置显式peon配置:
druid.indexer.fork.property
例子:druid.indexer.fork.property.druid.peon.mode=local
附加的Poen配置包括:
属性 | 含义 | 备注 | 是否需要修改 |
---|---|---|---|
druid.peon.mode | 可选值有local和remote,当选择local时会运行peon作为一个standalone组件 | 默认remote | 一般不修改 |
druid.indexer.task.baseDir | 基本临时工作目录 | 默认System.getProperty(“java.io.tmpdir”) | 一般不修改 |
druid.indexer.task.baseTaskDir | 任务的基本临时工作目录 | 默认${druid.indexer.task.baseDir}/persistent/task | 一般不修改 |
druid.indexer.task.defaultHadoopCoordinates | HadoopIndexTasks的默认hadoop版本 | 默认org.apache.hadoop:hadoop-client:2.8.5 | 一般不修改 |
druid.indexer.task.defaultRowFlushBoundary | 在持久化到磁盘之前的最大行数 | 默认75000 | 一般不修改 |
druid.indexer.task.directoryLockTimeout | 等待这个世界让僵尸peon退出 | 默认PT10M | 一般不修改 |
druid.indexer.task.gracefulShutdownTimeout | 为了让可存储的任务优雅退出middle manager等待这么长时间之后在重启 | 默认PT5M | 一般不修改 |
druid.indexer.task.hadoopWorkingPath | hadoop任务的临时工作目录 | 默认/tmp/druid-indexing | 一般不修改 |
druid.indexer.task.restoreTasksOnRestart | middle manager是否在退出和重启时尝试优雅停止任务 | 默认false | 按需配置 |
druid.indexer.server.maxChatRequests | 一个task能处理的并行请求的最大数量 | 默认0,表示不做限制 | 一般不修改 |
以下配置在remote模式下可以配置:
属性 | 含义 | 备注 | 是否需要修改 |
---|---|---|---|
druid.peon.taskActionClient.retry.minWait | 和overlord联系的最小重试时间 | 默认PT5S | 一般不修改 |
druid.peon.taskActionClient.retry.maxWait | 和overlord联系的最大重试时间 | 默认PT1M | 一般不修改 |
druid.peon.taskActionClient.retry.maxRetryCount | 和overlord联系的最大重试次数 | 默认60 | 一般不修改 |
druid.peon.defaultSegmentWriteOutMediumFactory.type | 新segment创建时,临时存储类型 | 默认tmpFile,可选值有tmpFile、offHeapMemory、onHeapMemory | 按需配置 |
OLAP分析引擎Druid配置文件详解(五):MiddleManager配置文件相关推荐
- ibatis mysql 配置文件详解_MyBatis Generator 配置文件详解
MyBatis Generator (MBG) 是由一个XML配置文件驱动的.这个配置文件中会声明以下内容: 如何连接数据库 要生成什么对象,以及如何生成它们 哪些表需要应用于对象生成. 根元素 ge ...
- mybatis mysql 配置文件详解_Mybatis的配置文件参数详解
1.Myatis配置文件主要是mybatis-config.xml 我们来看一下这里的详细的配置和需要注意的地方: View Code 2.Mybatis配合文件节点详细解释 下面我们看看关于参数的配 ...
- tomcat配置文件详解
Tomcat基础配置详解 组件原理图如下: 任何tomcat实例就是一个server,而一个server内部要想能够解析jsp页面转义编译serlet程序,要靠其引擎来实现 而引擎才是真正意义上执行j ...
- AndroidManifest.xml配置文件详解
AndroidManifest.xml配置文件详解 . AndroidManifest.xml配置文件对于Android应用开发来说是非常重要的基础知识,本文旨在总结该配置文件中重点的用法,以便日后查 ...
- Debian操作系统的源配置信息详解--Source.list配置文件详解
转载来源:https://wiki.debian.org/SourcesList#Repository_URL Debian操作系统的源配置信息详解--Source.list配置文件详解 Debian ...
- docker-compose.yml配置文件详解
docker-compose.yml配置文件详解 Docker Compose 配置文件详解,转载自博客https://www.jianshu.com/p/2217cfed29d7 先来看一份 doc ...
- MyBatis核心配置文件详解
MyBatis核心配置文件详解 1.核心配置文件中的标签必须按照固定的顺序 2.properties标签 3.settings标签 4.typeAliases标签 5.environments标签 6 ...
- oracle一般监听配置文件,oracle监听配置文件详解
tnsnames.ora 监听配置文件详解 监听配置文件 为了使得外部进程 如 CAMS后台程序 能够访问 Oracle 数据库 必须配 置 Oracle 网络服务器环境 配置 Oracle 网络服务 ...
- 最强OLAP分析引擎-Clickhouse快速精通-上
最强OLAP分析引擎-Clickhouse快速精通一 ==楼兰== 文章目录 一.Clickhouse简介 1.什么是Clickhouse 2.Clickhouse适用场景. 二.Clickhouse ...
最新文章
- p8工程师告诉你软件测试的三大误区,你误了几个?
- Photoshop CC2015软件安装资料及教程
- 成功解决‘nvidia-smi‘ 不是内部或外部命令,也不是可运行的程序 或批处理文件
- 利用卷积神经网络实现人脸识别(python+TensorFlow)
- 黑鲨5系列游戏手机通过3C认证:支持120W超级快充
- “工业4.0”下的制造业数据化管理
- 推荐一些逐步深入学习mysql的书籍
- 海思 K3V2的前世今生
- c语言读bmp格式图片的步骤,C语言读取BMP格式的图片
- 拼多多api接口php算法,php封装的拼多多开放平台API类库
- 关于WSO2 ESB
- 怎样检测和应对数据集的Outliers
- 核桃编程学python吗_学编程要趁早?对话核桃编程X支付宝 “小程序编程马拉松”三强得主...
- 平常水题 - Atcoder 058 - C - 怪文書 / Dubious Document(字符串的处理)
- 深入浅出的 Adaboost算法
- 【图像去噪】兴智杯论文复现赛——NAFNet
- Salesforce学习之路-developer篇(五)一文读懂Aura原理及实战案例分析
- ssh连接服务器失败解决记录
- php APP微信支付流程,PHP实现APP微信支付的实例讲解
- 毕设英文php参考文献,★毕设论文参考文献_毕设参考资料范文_毕设外文参考文献...