office工作日志文件_风暴事件处理器–每个工作者的GC日志文件

office工作日志文件

在过去的三个月中，我正在与一个新团队合作，为电信领域的大数据分析构建产品。

Storm事件处理器是我们使用的主要框架之一，它确实很棒。您可以阅读其官方文档中的更多详细信息（已改进）。

Storm使用Workers来完成您的工作，其中每个人都是一个JVM，并由Storm内部管理（启动，如果无响应则重新启动，将Worker移至群集的另一个节点等）。对于单个作业，您可以在集群上运行许多Worker（Storm决定如何在集群节点中分配Worker）。作为“节点”，我指的是正在运行的操作系统，可以在VM或物理机上运行。

这里的棘手点是，即使节点中的所有Worker正在运行/处理其他类型的作业，它们都读取相同的配置文件（STORM_HOME / conf / storm.yaml ）。此外，有一个单一的参数（worker.childopts）在此文件中，其用于所有工人（在同一节点的）来初始化他们的JVM（如何设置JVM选项）。

因为我们想知道GC在每个worker中的性能，我们需要监视每个Worker / JVM的GC日志。

就像我说的那样，问题在于，当一个节点中的所有Worker都从同一配置文件中读取相同的参数以初始化其JVM时，因此为每个Worker / JVM使用不同的GC日志记录文件并不是一件容易的事。

幸运的是，Storm开发人员公开了解决该问题的“ 变量 ”。该变量名为“ ID ”，并且对于每个节点上的每个Worker都是唯一的（相同的Worker ID可以存在于不同的节点中）。

对于Workers JVM Options，我们在“ storm.yaml ”文件中使用以下条目：

worker.childopts: "-Xmx1024m -XX:MaxPermSize=256m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/opt/storm/logs/gc-storm-worker-%ID%.log"

请注意，您必须在“ ID ”字符串之前和之后添加“ ％ ”（以便被标识为内部Storm变量）。

另外，对于Supervisor JVM选项（每个节点上有一个进程），我们在“ storm.yaml ”文件中使用以下条目：

supervisor.childopts: "-Xmx512m -XX:MaxPermSize=256m -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -verbose:gc -Xloggc:/opt/storm/logs/gc-storm-supervisor.log"

我也包括了一种内存设置（“ -Xmx”和“ -XX：MaxPermSize”），但这只是一个例子。

请记住，Storm需要Oracle Hotspot JDK 6 （尚不支持JDK 7/8）。这是一个严重的缺点，但我们希望它会尽快解决。

希望能帮助到你！

民主需要免费软件

翻译自: https://www.javacodegeeks.com/2014/04/storm-event-processor-gc-log-file-per-worker.html

office工作日志文件

office工作日志文件_风暴事件处理器–每个工作者的GC日志文件相关推荐

风暴事件处理器–每个工作者的GC日志文件
在过去的三个月中,我正在与一个新团队合作,为电信领域的大数据分析构建产品. Storm事件处理器是我们使用的主要框架之一,而且确实很棒. 您可以阅读其官方文档(已改进)中的更多详细信息. Storm使 ...
oracle 删除补全日志组_【REDO】删除REDO LOG重做日志组后需要手工删除对应的日志文件（转）...
为保证重新创建的日志组成员可以成功创建,我们在删除日志组后需要手工删除对应的日志文件. 1.查看数据库当前REDO LOG日志相关信息 1)查看日志组信息 sys@ora10g> select ...
spark 写本地文件_(纯干货建议收藏)一次GC引发的Spark调优大全
上一篇Tungsten On Spark-内存模型设计总结了Spark内存设计相关的知识点,本篇会快速为读者复习一下JVM相关的知识点,然后基于线上的GC调优对spark整体的调优做一个汇总,希望能让 ...
ashx获取input file 文件_前端战五渣学前端——FileReader预览本地文件
距离上一篇博客将近一个半月了,这一个多月有点烦躁,静不下心来学习,也不知道为什么,玩的也不算太好,还感冒.可能是天气热了吧,有点点躁动.上周看了<哪吒--魔童降世>还不错,还看了新出的&l ...
手机上怎么打开md格式的文件_一键就能将PDF转换为各种格式文件，无奈知道的人实在太少了...
在我们的工作中,不少人都喜欢使用PDF文件进行传输,既稳定也方便.但是大家都知道,转换成PDF文件后我们就不可以对文件内容进行修改了,如果我们需要再次进行修改的话,这就有点难弄了. 别担心,今天小编将 ...
如何设计日志系统_架构 - 如何设计一个百亿级日志系统
" 日志是记录系统中各种问题信息的关键,也是一种常见的海量数据. 日志平台为集团所有业务系统提供日志采集.消费.分析.存储.索引和查询的一站式日志服务. 主要为了解决日志分散不方便查看.日志 ...
python对数据进行分类、文件是csv文件_用Python将处理数据得到的csv文件分类（按顺序）保存...
用Python中的os和numpy库对文件夹及处理数据后得到的文件进行分类保存: import numpy as np import os for m in range(699,0,-35): cur ...
java怎样读txt文件_【后端开辟】java怎样读写txt文件？
java怎样读取txt文件? 1.运用FileInputStream完成读取txt文件内容 2.运用FileOutputStream完成写入txt文件内容 package cn.xiaobing.ut ...
python目录及文件_零基础小白必看：python基本操作-文件、目录及路径
1 前言在最近开发中,经常需要对文件进行读取.遍历.修改等操作,想要快速.简单的完成这些操作,我选择用 python .通过 python 的标准内置 os 模块,只需要几行代码,即可完成想要的操作 ...

office工作日志文件_风暴事件处理器–每个工作者的GC日志文件

office工作日志文件_风暴事件处理器–每个工作者的GC日志文件相关推荐

最新文章

热门文章