jstorm 读取mysql_jstorm运维经验转载
##转之jstorm github 官方资料
1:启动supervisor或nimbus最好是以后台方式启动, 避免终端退出时向jstorm发送信号,导致jstorm莫名其妙的退出
nohup jstorm supervisor >/dev/null 2>&1 &
2:推荐使用admin用户启动所有的程序, 尤其是不要用root用户启动web ui,
3:在安装目录下,建议使用jstorm-current链接, 比如当前使用版本是jstorm 0.9.4, 则创建链接指向jstorm-0.9.4, 当以后升级时, 只
需要将jstorm-current链接指向新的jstorm版本。
ln -s jstorm-0.9.4 jstorm-current
4:将JStorm的本地目录和日志配置到一个公共目录下, 比如/home/admin/jstorm_data 和/home/admin/logs, 不要配置到
$JSTORM_HOME/data和$JSTORM_HOME/logs,当升级时,替换整个目录时, 容易丢失所有的本地数据和日志。
5:JStorm支持环境变量JSTORM_CONF_DIR, 当设置了该变量时, 会从该目录里读取storm.yaml文件, 因此建议设置该变量,该变量指定的目
录存放配置文件storm.yaml, 以后每次升级时,就可以简单的替换目录就可以了
6:建议不超过1个月,强制重启一下supervisor, 因为supervisor是一个daemon进程, 不停的创建子进程,当使用时间过长时, 文件打开的
句柄会非常多,导致启动worker的时间会变慢,因此,建议每隔一周,强制重启一次supervisor
7:JStorm web ui推荐使用apache tomcat 7.x, 默认的端口是8080, 如果需要将80 端口重定向到8080时, 可以用root执行命令:
iptables -t nat -A PREROUTING -p tcp --dport 80 -j REDIRECT --to-port 8080
8:Jvm GC 需要使用CMS GC 方式, JStorm默认已经设置, 使用Storm的朋友需要类似的设置,
worker.childopts: "-Xms1g -Xmx1g -Xmn378m -XX:SurvivorRatio=2 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly
-XX:CMSInitiatingOccupancyFraction=65"
9:对于一些重要的应用,可以对大集群进行分组, 修改配置文件的 “storm.zookeeper.root” 和 “nimbus.host”
10:Zeromq推荐2.1.7
64位java 就需要使用64位zeromq
在64位OS上使用32位java, 编译zeromq 增加flag –m32
11:对于应用使用ZK较频繁的,需要将JStorm的ZK 和应用的ZK 隔离起来,不混在一起使用
nimbus节点上建议不运行supervisor, 并建议把nimbus放置到ZK 所在的机器上运行
推荐slot数为 ”CPU 核 - 1“, 假设24核CPU, 则slot为23
12:配置cronjob,定时检查nimbus和supervisor,一旦进程死去,自动重启
13:ZK 的maxClientCnxns=500
14:Linux对外连接端口数限制,TCP client对外发起连接数达到28000左右时,就开始大量抛异常,需要
# echo "10000 65535" > /proc/sys/net/ipv4/ip_local_port_range
15:
阅读(958) | 评论(0) | 转发(0) |
jstorm 读取mysql_jstorm运维经验转载相关推荐
- 运维经验分享(三)-- 解决Ubuntu下crontab不能正确执行脚本的问题
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://dgd2010.blog.51cto.com/1539422/1676490 运维 ...
- 5年运维经验分享:一个小白走向高级运维工程师之路
我是Freeman,88年的,老家河南,来上海4年,O2O行业高级运维工程师,拥有5年运维经验. 我目前维护上千台服务器,熟悉大型网站架构,熟悉集群高可用,熟悉数据库.对大并发场景下的业务稳定性可用性 ...
- 高校被盗邮箱处置的运维经验分享-清华大学
前言 一.邮箱被盗带来的问题 二.邮箱被盗自动化检测和封禁手段 三.电子邮件系统保障手段 前言 智能时代,企业经常使用邮箱进行办公交流,提升工作效率.一封封邮件,背负着传输业务信息的重要使命.但天下攘 ...
- 运维经验分享(六)-- 深究crontab不能正确执行Shell脚本的问题(二)
运维经验分享作为一个专题,目前共7篇文章 <运维经验分享(一)-- Linux Shell之ChatterServer服务控制脚本> <运维经验分享(二)-- Linux Shell ...
- 进程管理程序java,运维经验分享(四)--关于 java进程管理的服务控制脚本编程思路分析...
运维经验分享作为一个专题,目前共7篇文章 ====================================分割线====================================== C ...
- 腾讯数据库专家多年运维经验凝聚成简,总结这份595页工作笔记
腾讯数据库专家多年运维经验凝聚成简,总结这份595页工作笔记 爱马士团团长 2020-09-25 15:13:54 前言 MySQL是开源数据库方向的典型代表,它拥有成熟的生态体系,同时在可靠性.性能 ...
- mysql运维备份_MySQL运维经验
原标题:MySQL运维经验 1. 概要 每台机器都使用多实例的模型. 每个机器放多个实例,每个实例放多个DB. 多实例之间没有进行资源隔离,这么做是让每个实例都能发挥最大性能. 目前大部分核心业务已切 ...
- 金融IT系统高可用运维经验总结—人员、技术、流程
金融IT系统高可用运维经验总结-人员.技术.流程 金融行业具有垄断性.指标性.高风险性的特点,是国家巨额资金的集散中心,涉及到国民经济的各个部门,任何不稳定因素都有可能导致"多米诺骨牌效应& ...
- 赠书 | 十年运维经验总结出的智能运维系统落地方案,不得不赞
对于互联网公司来说,系统复杂化导致的人工运维成本激增已经是普遍现象,采用智能运维是行之有效的应对策略.智能运维的核心思想是利用算法来处理海量运维数据,积累运维经验,从而代替人工思考判断,以自动化的过程 ...
最新文章
- 如何养出一个三十几亿身家的儿子
- Windows环境下搭建rocketMQ环境
- 算法自动化测试的挑战与思考
- 在本机上安装zabbix,来监控服务器 六
- QT 生成二维码接口封装
- 需求澄清_澄清字符串的格式!
- FileZilla Server 搭建FTP服务器
- 从优青到杰青:优秀青年科技人才成长典型特征
- uni app input添加获取验证码按钮_uni-app跨平台框架对微信小程序的无障碍支持探索...
- 必知!4张图看尽AI发展史重大里程碑
- 在Xen的DomU中安装MySQL
- STVD、STVP、ST-LINK utility这些工具你了解吗?
- Java线程状态分析/线程状态转换图
- 坚果pro2刷回官方_坚果Pro2刷机教程刷TWRP面具详细步骤_软件开发_IT综合服务
- 你的颜值打几分?——基于tensorflow实现人脸打分模型
- pyton 爬虫-图片
- 多传感器数据融合学习笔记
- 简单图+Havel_Hakimi定理
- mysql(update)
- [Computer Architecture读书笔记] 3.2 Basic Compiler Techniques for Exposing ILP
热门文章
- Template Metaprogramming
- 教你用python爬取网站数据
- 程序员想趁头发还在找个女友,标准:是女的就行
- 听说做开发的工资随随便便就上10k?
- 经典面试题(42):以下代码将输出的结果是什么?
- ubuntu下gvim启动出现gtk warning Invalid input string
- AE一键快速生成MG爆炸图形动画插件:Burst Box for Mac
- Acoustica 7 Premium Edition for Mac(音频处理软件) v7.3.28
- 苹果发布 macOS 12——Monterey
- 1.3编程基础之算术表达式与顺序执行(20题)-2022.02.26