Hadoop平台关闭THP解决服务器高负载问题
Ambari和CM管理平台都提示,建议关闭THP,这是为什么?如果不关闭THP,发现Hadoop的系统态CPU使用率很高,
原因是RHEL6优化了内存申请的效率,而且在某些场景下对KVM的性能有明显提升。
而Hadoop是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型Java程序应该更多的使用用户态CPU才对,Cloudera官方也推荐关闭THP。
http://www.cloudera.com/content/www/en-us/documentation/archive/cdh/4-x/4-2-2/CDH4-Installation-Guide/cdh4ig_topic_11_6.html
于是参考一些文章作了调整:
#关闭 THP(Transparent HugePages )
# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
作用非常明显:
效果很明显,红色框中是调整后的,系统态占用基本消失了。文件Cache使用上升、机器负载下降。
除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”
(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。
原本 transparent_hugepage 功能是在内核2.6.38之后才引入的,红帽在RHEL6就将此功能合并进来、详细还有待进一步了解。
如果你是hadoop群集管理者,建议关闭THP,在看看服务器的负载是不是降低很多。
重启后会恢复到原来的状态,需要设置:
vi /etc/rc.local
增加
# for hadoop , disable thp
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
这样重启后也就自动修改了。
Hadoop平台关闭THP解决服务器高负载问题相关推荐
- ORACLE 11g 通过ASH结合AWR实战解决cpu高负载的详细过程
ASH结合AWR实战解决oracle高负载 线上oracle数据库负载比较高,所以需要优化,一般进去看负载高的进程,如果是oracle进程,那么就是oracle运行 ...
- shell解决服务器高可用
标签:shell 高可用 arping 原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 .作者信息和本声明.否则将追究法律责任.http://president.blog.51cto. ...
- CentOS服务器高负载状态重启
Centos重启调试 #查看服务情况 chkconfig --list #启动MySql\Php\Nginx\FTP\SVN服务 service mysqld start service php-fp ...
- 暴雪插件占用服务器,暴雪为部分高负载、高排队的服务器开启免费转服服务 解决负载过高问题...
[17173鲜游快报,专注于快速带来全球新游信息] <魔兽世界>9.0暗影之地上线后,吸引不少玩家,为了缓解服务器压力,暴雪也是给出了办法.官方公告中表示,为部分高负载.高排队的服务器开启 ...
- 魔兽服务器负载显示新,魔兽世界部分服务器的负载过高 官方将会开启免费转服服务...
魔兽世界已经正式迎来的了游戏的9.0,魔兽世界的9.0一开就是引来了相当多的玩家们,各位玩家大量涌入导致部分人多的服务器负载过高,进而会造成排队,卡顿,甚至是炸服,最近魔兽世界的官方也是发布了公告称将 ...
- 魔兽世界服务器显示负载离线,《WOW》服务器负载过高 官方免费转服
<魔兽世界>全新资料片"暗影国度"已于本周四正式开启,由于大量玩家同时登录,也给一些服务器造成了不小的负担.@魔兽世界官方微博今天发布公告称,官方为部分高负载.高排队的 ...
- 高可用Hadoop平台-Oozie工作流之Hadoop调度
1.概述 在<高可用Hadoop平台-Oozie工作流>一篇中,给大家分享了如何去单一的集成Oozie这样一个插件.今天为大家介绍如何去使用Oozie创建相关工作流运行与Hadoop上,已 ...
- Hadoop集群优化-关闭THP
操作系统重启导致Transparent Hugepages(THP,页面内存透明化)开启 为提升hadoop性能,hadoop环境上要求关闭Transparent Hugepages(THP,页面内存 ...
- 高可用Hadoop平台-答疑篇
1.概述 这篇博客不涉及到具体的编码,只是解答最近一些朋友心中的疑惑.最近,一些朋友和网友纷纷私密我,我总结了一下,疑问大致包含以下几点: 我学 Hadoop 后能从事什么岗位? 在遇到问题,我该如何 ...
最新文章
- 滴滴CTO张博:我人生重要的四次选择
- NoneBot2插件——进群欢迎
- boost::geometry::strategy::transform::matrix_transformer用法的测试程序
- 搜索引擎CACHE策略研究
- 设置堆内存大小_jmap和jhat命令行工具的配合使用,更好的掌握堆内存状况
- 评审系统:查看互评信息实现及优化显示
- 码农跳槽指南:如何在新公司建立自己的“支配地位”?
- MATLAB在声学理论基础中的应用,MATLAB在声学理论基础中的应用
- 泛微 linux mobile手册,泛微E-Mobile5.0服务端安装手册.doc
- Oracle loap函数,oracle分区表执行计划
- 简易的站内搜索引擎 (万字长文!!绝对值得一看!!)
- Word设置标题以及自动编号——保姆级教程
- 5G无线技术基础自学系列 | 新多址接入
- STM32CubeIDE使用总结(三)——debug调试程序
- 我的世界服务器配置文件
- metapath2vec 异构网络表示学习
- NDIS和Rndis、NCM和ECM
- git基本命令与git基本命令-远程
- mysql 简述pk uk fk 的区别和对数据库性能的影响_SQL Server 数据库中PK,UK, DF, CK, FK是什么意思?...
- 直接下载docker镜像包
热门文章
- opic4:Qt入门之常用qt控件认知之Button系列
- 2019-2020 10th BSUIR Open Programming Championship. Semifinal 补题
- Zynq-Linux移植学习笔记之24-VPVN温度监测
- java ffmpeg 直播_ffmpeg转码为直播
- mouse without borders 两台主机共用一套鼠标键盘
- 用Python进行图文识别(OCR)
- 金立android 7.1.1,金立新手机参数曝光!10000mAh电池 运行安卓7.1,能否打个翻身仗...
- 使用Delphi进行相机访问
- wxX11移植到arm板上(序)
- 逆袭:2012互联网盘点