##转之jstorm github 官方资料

1:启动supervisor或nimbus最好是以后台方式启动, 避免终端退出时向jstorm发送信号,导致jstorm莫名其妙的退出

nohup jstorm supervisor >/dev/null 2>&1 &

2:推荐使用admin用户启动所有的程序, 尤其是不要用root用户启动web ui,

3:在安装目录下,建议使用jstorm-current链接, 比如当前使用版本是jstorm 0.9.4, 则创建链接指向jstorm-0.9.4, 当以后升级时, 只

需要将jstorm-current链接指向新的jstorm版本。

ln -s jstorm-0.9.4 jstorm-current

4:将JStorm的本地目录和日志配置到一个公共目录下, 比如/home/admin/jstorm_data 和/home/admin/logs, 不要配置到

$JSTORM_HOME/data和$JSTORM_HOME/logs,当升级时,替换整个目录时, 容易丢失所有的本地数据和日志。

5:JStorm支持环境变量JSTORM_CONF_DIR, 当设置了该变量时, 会从该目录里读取storm.yaml文件, 因此建议设置该变量,该变量指定的目

录存放配置文件storm.yaml, 以后每次升级时,就可以简单的替换目录就可以了

6:建议不超过1个月,强制重启一下supervisor, 因为supervisor是一个daemon进程, 不停的创建子进程,当使用时间过长时, 文件打开的

句柄会非常多,导致启动worker的时间会变慢,因此,建议每隔一周,强制重启一次supervisor

7:JStorm web ui推荐使用apache tomcat 7.x, 默认的端口是8080, 如果需要将80 端口重定向到8080时, 可以用root执行命令:

iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080

8:Jvm GC 需要使用CMS GC 方式, JStorm默认已经设置, 使用Storm的朋友需要类似的设置,

worker.childopts: "-Xms1g -Xmx1g -Xmn378m -XX:SurvivorRatio=2 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly

-XX:CMSInitiatingOccupancyFraction=65"

9:对于一些重要的应用,可以对大集群进行分组, 修改配置文件的 “storm.zookeeper.root” 和 “nimbus.host”

10:Zeromq推荐2.1.7

64位java 就需要使用64位zeromq

在64位OS上使用32位java, 编译zeromq 增加flag –m32

11:对于应用使用ZK较频繁的,需要将JStorm的ZK 和应用的ZK 隔离起来,不混在一起使用

nimbus节点上建议不运行supervisor, 并建议把nimbus放置到ZK 所在的机器上运行

推荐slot数为 ”CPU 核 - 1“, 假设24核CPU, 则slot为23

12:配置cronjob,定时检查nimbus和supervisor,一旦进程死去,自动重启

13:ZK 的maxClientCnxns=500

14:Linux对外连接端口数限制,TCP client对外发起连接数达到28000左右时,就开始大量抛异常,需要

# echo "10000 65535" > /proc/sys/net/ipv4/ip_local_port_range

15:

阅读(958) | 评论(0) | 转发(0) |

jstorm 读取mysql_jstorm运维经验转载相关推荐

  1. 运维经验分享(三)-- 解决Ubuntu下crontab不能正确执行脚本的问题

    原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://dgd2010.blog.51cto.com/1539422/1676490 运维 ...

  2. 5年运维经验分享:一个小白走向高级运维工程师之路

    我是Freeman,88年的,老家河南,来上海4年,O2O行业高级运维工程师,拥有5年运维经验. 我目前维护上千台服务器,熟悉大型网站架构,熟悉集群高可用,熟悉数据库.对大并发场景下的业务稳定性可用性 ...

  3. 高校被盗邮箱处置的运维经验分享-清华大学

    前言 一.邮箱被盗带来的问题 二.邮箱被盗自动化检测和封禁手段 三.电子邮件系统保障手段 前言 智能时代,企业经常使用邮箱进行办公交流,提升工作效率.一封封邮件,背负着传输业务信息的重要使命.但天下攘 ...

  4. 运维经验分享(六)-- 深究crontab不能正确执行Shell脚本的问题(二)

    运维经验分享作为一个专题,目前共7篇文章 <运维经验分享(一)-- Linux Shell之ChatterServer服务控制脚本> <运维经验分享(二)-- Linux Shell ...

  5. 进程管理程序java,运维经验分享(四)--关于 java进程管理的服务控制脚本编程思路分析...

    运维经验分享作为一个专题,目前共7篇文章 ====================================分割线====================================== C ...

  6. 腾讯数据库专家多年运维经验凝聚成简,总结这份595页工作笔记

    腾讯数据库专家多年运维经验凝聚成简,总结这份595页工作笔记 爱马士团团长 2020-09-25 15:13:54 前言 MySQL是开源数据库方向的典型代表,它拥有成熟的生态体系,同时在可靠性.性能 ...

  7. mysql运维备份_MySQL运维经验

    原标题:MySQL运维经验 1. 概要 每台机器都使用多实例的模型. 每个机器放多个实例,每个实例放多个DB. 多实例之间没有进行资源隔离,这么做是让每个实例都能发挥最大性能. 目前大部分核心业务已切 ...

  8. 金融IT系统高可用运维经验总结—人员、技术、流程

    金融IT系统高可用运维经验总结-人员.技术.流程 金融行业具有垄断性.指标性.高风险性的特点,是国家巨额资金的集散中心,涉及到国民经济的各个部门,任何不稳定因素都有可能导致"多米诺骨牌效应& ...

  9. 赠书 | 十年运维经验总结出的智能运维系统落地方案,不得不赞

    对于互联网公司来说,系统复杂化导致的人工运维成本激增已经是普遍现象,采用智能运维是行之有效的应对策略.智能运维的核心思想是利用算法来处理海量运维数据,积累运维经验,从而代替人工思考判断,以自动化的过程 ...

最新文章

  1. 如何养出一个三十几亿身家的儿子
  2. Windows环境下搭建rocketMQ环境
  3. 算法自动化测试的挑战与思考
  4. 在本机上安装zabbix,来监控服务器 六
  5. QT 生成二维码接口封装
  6. 需求澄清_澄清字符串的格式!
  7. FileZilla Server 搭建FTP服务器
  8. 从优青到杰青:优秀青年科技人才成长典型特征
  9. uni app input添加获取验证码按钮_uni-app跨平台框架对微信小程序的无障碍支持探索...
  10. 必知!4张图看尽AI发展史重大里程碑
  11. 在Xen的DomU中安装MySQL
  12. STVD、STVP、ST-LINK utility这些工具你了解吗?
  13. Java线程状态分析/线程状态转换图
  14. 坚果pro2刷回官方_坚果Pro2刷机教程刷TWRP面具详细步骤_软件开发_IT综合服务
  15. 你的颜值打几分?——基于tensorflow实现人脸打分模型
  16. pyton 爬虫-图片
  17. 多传感器数据融合学习笔记
  18. 简单图+Havel_Hakimi定理
  19. mysql(update)
  20. [Computer Architecture读书笔记] 3.2 Basic Compiler Techniques for Exposing ILP

热门文章

  1. Template Metaprogramming
  2. 教你用python爬取网站数据
  3. 程序员想趁头发还在找个女友,标准:是女的就行
  4. 听说做开发的工资随随便便就上10k?
  5. 经典面试题(42):以下代码将输出的结果是什么?
  6. ubuntu下gvim启动出现gtk warning Invalid input string
  7. AE一键快速生成MG爆炸图形动画插件:Burst Box for Mac
  8. Acoustica 7 Premium Edition for Mac(音频处理软件) v7.3.28
  9. 苹果发布 macOS 12——Monterey
  10. 1.3编程基础之算术表达式与顺序执行(20题)-2022.02.26