Druid 加载 Kafka 流数据的性能配置参数 TuningConfig

tuningConfig 的配置是可选的，如果你不在这里对这个参数进行配置的话，Druid 将会使用默认的配置来替代。

字段（Field）	类型（Type）	描述（Description）	是否必须（Required）
`type`	String	索引任务类型，总是 kafka。	Y
`maxRowsInMemory`	Integer	在持久化之前在内存中聚合的最大行数。该数值为聚合之后的行数，所以它不等于原始输入事件的行数，而是事件被聚合后的行数。通常用来管理所需的 JVM 堆内存。使用 maxRowsInMemory * (2 + maxPendingPersists) 来当做索引任务的最大堆内存。通常用户不需要设置这个值，但是也需要根据数据的特点来决定，如果行的字节数较短，用户可能不想在内存中存储一百万行，应该设置这个值。	N（默认=1000000）
`maxBytesInMemory`	Long	在持久化之前在内存中聚合的最大字节数。这是基于对内存使用量的粗略估计，而不是实际使用量。通常这是在内部计算的，用户不需要设置它。索引任务的最大内存使用量是 maxRowsInMemory * (2 + maxPendingPersists)	N（默认=最大JVM内存的 1/6）
`maxRowsPerSegment`	Integer	聚合到一个段中的行数，该数值为聚合后的数值。当 maxRowsPerSegment 或者 maxTotalRows 有一个值命中的时候，则触发 handoff（数据存盘后传到深度存储），该动作也会按照每 intermediateHandoffPeriod 时间间隔发生一次。	N（默认=5000000）
`maxTotalRows`	Long	所有段的聚合后的行数，该值为聚合后的行数。当 maxRowsPerSegment 或者 maxTotalRows 有一个值命中的时候，则触发handoff（数据落盘后传到深度存储），该动作也会按照每 intermediateHandoffPeriod 时间间隔发生一次。	N（默认=unlimited)
`intermediatePersistPeriod`	ISO8601 Period	确定触发持续化存储的周期	N（默认= PT10M）
`maxPendingPersists`	Integer	正在等待但启动的持久化过程的最大数量。如果新的持久化任务超过了此限制，则在当前运行的持久化完成之前，摄取将被阻止。索引任务的最大内存使用量是 maxRowsInMemory * (2 + maxPendingPersists)	否（默认为0，意味着一个持久化可以与摄取同时运行，而没有一个可以进入队列）
`indexSpec`	Object	调整数据被如何索引。详情可以见 IndexSpec 页面中的内容	N
`indexSpecForIntermediatePersists`		定义要在索引时用于中间持久化临时段的段存储格式选项。这可用于禁用中间段上的维度/度量压缩，以减少最终合并所需的内存。但是，在中间段上禁用压缩可能会增加页缓存的使用，而在它们被合并到发布的最终段之前使用它们，有关可能的值。详情可以见 IndexSpec 页面中的内容。	N（默认= 与 indexSpec 相同）
`reportParseExceptions`	Boolean	已经丢弃（DEPRECATED）。如果为true，则在解析期间遇到的异常即停止摄取；如果为false，则将跳过不可解析的行和字段。将 reportParseExceptions 设置为 true 将覆盖maxParseExceptions 和 maxSavedParseExceptions 的现有配置，将maxParseExceptions 设置为 0 并将 maxSavedParseExceptions 限制为不超过1。	N（默认=false）
`handoffConditionTimeout`	Long	段切换（持久化）可以等待的毫秒数（超时时间）。该值要被设置为大于0的数，设置为0意味着将会一直等待不超时。	N（默认=0）
`resetOffsetAutomatically`	Boolean	控制当Druid需要读取Kafka中不可用的消息时的行为，比如当发生了 `OffsetOutOfRangeException` 异常时。如果为false，则异常将抛出，这将导致任务失败并停止接收。如果发生这种情况，则需要手动干预来纠正这种情况；可能使用重置 Supervisor API 。此模式对于生产非常有用，因为它将使您意识到摄取的问题。如果为true，Druid将根据 `useEarliestOffset` 属性的值（`true` 为 `earliest` ，`false` 为 `latest` ）自动重置为Kafka中可用的较早或最新偏移量。请注意，这可能导致数据在您不知情的情况下被丢弃（如果`useEarliestOffset` 为 `false` ）或重复（如果 `useEarliestOffset` 为 `true` ）。消息将被记录下来，以标识已发生重置，但摄取将继续。这种模式对于非生产环境非常有用，因为它将使Druid尝试自动从问题中恢复，即使这些问题会导致数据被安静删除或重复。该特性与Kafka的 `auto.offset.reset` 消费者属性很相似	N（默认=false）
`workerThreads`	Integer	supervisor 用于为工作任务处理请求/相应（requests/responses）异步操作的线程数。	N（默认=min(10, taskCount)）
`chatThreads`	Integer	与索引任务的会话线程数。	N（默认=10, taskCount * replicas)）
`chatRetries`	Integer	在任务没有响应之前，将重试对索引任务的HTTP请求的次数	N（默认=8）
`httpTimeout`	ISO8601 Period	索引任务的 HTTP 响应超时的时间。	N（默认=PT10S）
`shutdownTimeout`	ISO8601 Period	supervisor 尝试无故障的停掉一个任务的超时时间。	N（默认=PT80S）
`offsetFetchPeriod`	ISO8601 Period	supervisor 查询 Kafka 和索引任务以获取当前偏移和计算滞后的频率。	N（默认=PT30S，min == PT5S）
`segmentWriteOutMediumFactory`	Object	创建段时要使用的段写入介质。更多信息见下文。	N （默认不指定，使用来源于 `druid.peon.defaultSegmentWriteOutMediumFactory.type` 的值）
`intermediateHandoffPeriod`	ISO8601 Period	段发生切换的频率。当 `maxRowsPerSegment` 或者 `maxTotalRows` 有一个值命中的时候，则触发handoff（数据存盘后传到深度存储），该动作也会按照每 `intermediateHandoffPeriod` 时间间隔发生一次。	N（默认=P2147483647D）
`logParseExceptions`	Boolean	如果为 true，则在发生解析异常时记录错误消息，其中包含有关发生错误的行的信息。	N（默认=false）
`maxParseExceptions`	Integer	任务停止接收之前可发生的最大分析异常数。如果设置了 `reportParseExceptions` ，则该值会被重写。	N（默认=unlimited)
`maxSavedParseExceptions`	Integer	当出现解析异常时，Druid可以跟踪最新的解析异常。"maxSavedParseExceptions"决定将保存多少个异常实例。这些保存的异常将在任务完成报告中的任务完成后可用。如果设置了`reportParseExceptions` ，则该值会被重写。	N（默认=0)

https://www.ossez.com/t/druid-kafka-tuningconfig/13672

Druid 加载 Kafka 流数据的性能配置参数 TuningConfig相关推荐

Druid 加载 Kafka 数据时通过控制台来提交一个 supervisor
在控制台中,单击 Submit supervisor 来打开一个 supervisor 对话框. 请将下面的内容配置参数拷贝张贴到打开的对话框中,然后单击 Submit 提交. {"type ...
R语言广义加性模型（GAMs：Generalized Additive Model）建模：数据加载、划分数据、并分别构建线性回归模型和广义线性加性模型GAMs、并比较线性模型和GAMs模型的性能
R语言广义加性模型(GAMs:Generalized Additive Model)建模:数据加载.划分数据.并分别构建线性回归模型和广义线性加性模型GAMs.并比较线性模型和GAMs模型的性能目录
Druid加载（load data）HDFS文件数据
Druid加载csv类型文件 [root@zeusmaster bin]# more 2.csv TIME,STR,NUM 2021-01-21 10:54:46,a,1 2021-01-21 10 ...
ProPublica Illinois如何每天使用GNU Make加载1.4GB数据
长期以来,我避免在数据新闻工作中使用GNU Make,部分原因是该文档过于晦涩,以至于我看不到Make(提取提取转换加载(ETL)流程之一)如何对我的日常工作有所帮助.日数据报告. 但是今年,要构建T ...
JS 原生自动加载的大数据表格探索
目录尝试1.使用table初级实现动态加载关键代码效果尝试2.使用绝对定位优化表格效果尝试3.绝对定位+scroll动态加载优化尝试效果尝试4. table + 绝对定位 + scro ...
使用Vant框架的组件van-pull-refresh搭配van-list和van-card完成上滑加载更多列表数据，下拉刷新当前列表数据（等同于翻页功能）
<template><div class="sg-page-body"><div class="sg-list"><v ...
bootstraptable 加载完成_bootstrap table onLoadSuccess加载服务端数据成功事件
bootstrap table onLoadSuccess加载服务端数据成功事件 bootstrap table onLoadSuccess加载服务端数据成功的事件,该事件的作用是什么呢?服务端返回自 ...
Boost：加载评估WebSocket服务器的性能测试程序
Boost:加载评估WebSocket服务器的性能测试程序实现功能 C++实现代码实现功能基于Boost::beast模块,加载评估WebSocket服务器的性能测试程序 C++实现代码 #in ...
Qt Creator加载占位符数据
Qt Creator加载占位符数据加载占位符数据使用虚拟模型创建虚拟上下文加载占位符数据设计模式支持视图,模型和委托,因此,当您添加网格视图,列表视图或路径视图项时,将自动添加ListMod ...

Druid 加载 Kafka 流数据的性能配置参数 TuningConfig

Druid 加载 Kafka 流数据的性能配置参数 TuningConfig相关推荐

最新文章

热门文章