风暴事件处理器–每个工作者的GC日志文件

在过去的三个月中，我正在与一个新团队合作，为电信领域的大数据分析构建产品。

Storm事件处理器是我们使用的主要框架之一，而且确实很棒。您可以阅读其官方文档（已改进）中的更多详细信息。

Storm使用Workers来完成您的工作，其中每个人都是一个JVM，并且由Storm内部管理（启动，如果无响应则重新启动，将Worker移至群集的另一个节点等）。对于单个作业，您可以在集群上运行多个Worker（Storm决定如何在集群节点中分配Worker）。作为“节点”，我指的是正在运行的操作系统，可以在VM或物理机上运行。

这里的棘手问题是，即使节点中的所有Worker正在运行/处理其他类型的作业，它们都读取相同的配置文件（STORM_HOME / conf / storm.yaml ）。此外，有一个单一的参数（worker.childopts）在此文件中，其用于所有工人（在同一节点的）来初始化他们的JVM（如何设置JVM选项）。

因为我们想知道GC在每个worker中的性能如何，我们需要监视每个Worker / JVM的GC日志。

就像我说的那样，问题在于，当一个节点中的所有Worker都从同一配置文件中读取相同的参数以初始化其JVM时，因此为每个Worker / JVM使用不同的GC日志记录文件并不是一件容易的事。

幸运的是，Storm开发人员已经公开了解决此问题的“ 变量 ”。此变量名为“ ID ”，并且对于每个节点上的每个Worker都是唯一的（相同的Worker ID可能存在于不同的节点中）。

对于Workers JVM Options，我们在“ storm.yaml ”文件中使用以下条目：

worker.childopts: "-Xmx1024m -XX:MaxPermSize=256m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/opt/storm/logs/gc-storm-worker-%ID%.log"

请注意，您必须在“ ID ”字符串之前和之后添加“ ％ ”（以便被标识为内部Storm变量）。

此外，对于Supervisor JVM选项（每个节点上有一个进程），我们在“ storm.yaml ”文件中使用以下条目：

supervisor.childopts: "-Xmx512m -XX:MaxPermSize=256m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/opt/storm/logs/gc-storm-supervisor.log"

我也包括了一种内存设置（“ -Xmx”和“ -XX：MaxPermSize”），但这只是一个例子。

请记住，Storm需要Oracle Hotspot JDK 6 （尚不支持JDK 7/8）。这是一个严重的缺点，但我们希望它会尽快解决。

希望能帮助到你！

民主需要免费软件

翻译自: https://www.javacodegeeks.com/2014/04/storm-event-processor-gc-log-file-per-worker.html

风暴事件处理器–每个工作者的GC日志文件相关推荐

office工作日志文件_风暴事件处理器–每个工作者的GC日志文件
office工作日志文件在过去的三个月中,我正在与一个新团队合作,为电信领域的大数据分析构建产品. Storm事件处理器是我们使用的主要框架之一,它确实很棒. 您可以阅读其官方文档中的更多详细信息( ...
linux 输出gc日志,Tomcat输出保存JVM GC日志文件
当系统出现问题时,分析java虚拟机GC日志可以帮助我们定位问题,一般来说, 我们可以通过制定JVM参数使tomcat保存GC日志文件,具体实现如下: Windows下找到tomcat的解压目录,进 ...
浅谈 G1 GC 日志格式
在 Java9 中,G1 GC 将成为默认的垃圾收集器,G1 垃圾收集器的关键特性之一是能够在不牺牲吞吐量的同时,限制 GC 暂停时间(即可以设置所需的最大停顿时间). 由于 G1 GC 正在逐渐成为 ...
G1 GC 日志格式
在 Java9 中,G1 GC 将成为默认的垃圾收集器,G1 垃圾收集器的关键特性之一是能够在不牺牲吞吐量的同时,限制 GC 暂停时间(即可以设置所需的最大停顿时间). 由于 G1 GC 正在逐渐成为 ...
java+jvm+log_java8添加并查看GC日志(ParNew+CMS)
一.背景 java8的垃圾回收器一般推荐的是parNew+CMS,分别针对新生代和老年代的垃圾回收器.实际生产上,有时需要分析GC日志,检查GC回收有没有引起过多的系统暂停,特别是full GC. 二 ...
java8 gc_java8添加并查看GC日志(ParNew+CMS)
一.背景 java8的垃圾回收器一般推荐的是parNew+CMS,分别针对新生代和老年代的垃圾回收器.实际生产上,有时需要分析GC日志,检查GC回收有没有引起过多的系统暂停,特别是full GC. 二 ...
求求你了，配个GC日志呗，不然咋分析故障原因
点击关注公众号,Java干货及时送达生产环境上,或者其他要测试 GC 问题的环境上,一定会配置上打印GC日志的参数,便于分析 GC 相关的问题. 但是可能很多人配置的都不够"完美" ...
gc日志一般关注什么_记一次生产频繁出现 Full GC 的 GC日志图文详解
场景描述相信大家都了解 jps.jmap.jstack 等常用 java 堆栈输出命令,有过 dump.gc 分析的经验,面试中会经常被问到有关 JVM 问题,比如你是否了解你的程序在生产环境的基础 ...
idea本地跑如何看gc日志_牛逼了！用 IDEA 扒出了开源组件导致FGC的原因
某天上午收到最近发布的一个服务频繁FGC的告警,这个服务只是给公司内部相关人员使用的,并非给互联网用户提供服务的系统.而且功能也比较简单,就是查看一些统计信息.报表数据.数据导出Excel等,访问量非 ...

风暴事件处理器–每个工作者的GC日志文件

风暴事件处理器–每个工作者的GC日志文件相关推荐

最新文章

热门文章