hive性能调优实战pdf_1分钟带你入门JVM性能调优,实战解析调优工具
- JVM的运行参数
1.1 三种参数类型
- 标准参数
- help
- -version
- -X参数 (非标准参数)
- -Xint
- -Xcomp
- -XX参数(使用率比较高, 常用语jvm调优)
- -XX:newSize
- -XX:+UseSeriaIGC
1.2 标准参数
-D 设置系统属性: java -Dstr=hello
String str = System.getProperty("str")
println(str)
复制代码
输出结果: hello
JVM的两个启动模式: server和client
JVM在启动的时候回根据硬件和操作系统自动选择是使用Server还是Client类型的JVM
64位操作系统只有Server类型,没有Client
1.3 非标准参数
JVM的运行模式:
-Xint: 解释模式, 强制要求JVM执行所有的字节码(interpreted mode)
-Xcomp: 编译模式,JVM在第一次使用时会把所有字节码编译成本地代码(compiled mode)
-Xmixed:混合模式,将解释模式和编译模式混合使用, JVM默认的模式, 也是推荐的模式(mixed mode)
1.4 -XX 参数
-XX参数也是非标准参数, 主要用于JVM的调优和debug操作
两种使用方式:
- boolean类型
格式: -XX:[+-] 表示启用或者禁用name指令
-XX:+DisableExplicitGC表示禁用手动调用gc操作, System.gc()无效 - 非boolean类型
格式: -XX= 表示name的属性值为value
-XX:NewRatie=1 表示新生代和老年代的比值
1.5 -Xms, -Xmx
-Xms和-Xmx分别是设置jvm的堆内存的初始大小和最大大小
-Xms512m相当于: -XX:InitialHeapSize=512m
-Xms2048m相当于:-XX:MaxHeapSize=2048m
JVM启动时会自动设置Heap size的值, -Xms初始空间是物理内存的1/64, -Xmx最大值时物理空间的1/4。
进行JVM优化时, 可将-Xms和-Xmx设置值相同, 最大值不超过物理内存的80%
1.6 查看jvm运行参数:
运行java命令时打印参数: -XX:+PrintFlagsFinal
参数列表中: = 表示默认值, :=表示值被修改过
1.7 查看正在运行的进程的jvm信息
jps -l
查看当前系统中所有运行的java项目的进程id及详细包信息jinfo -flags 29200
查看进程id为29200进程的所有jvm参数信息jinfo -flag MaxheapSize 29200
查看pid下的具体某一jvm信息
![](/assets/blank.gif)
- jvm的内存模型
jvm的内存模型1.7和1.8有较大的区别
2.1 jdk1.7的堆内存模型:
- 年轻区: 新new的一些对象会在这个区域,young区被分为:Eden区和两个大小严格相同的Survivor区, 当Eden区变满时, 数据会移到Survior中,几次jvm垃圾收集后, 依然存活的Survivor会知道老年区
- 老年区:tenured区主要保存生命周期长的对象, 一般是一些老的对象
- 永久区: 主要保存class, method, field对象, 这部分空间一般不会溢出
2.2 jdk1.8的堆内存模型
年轻区:Eden+2*Survivor
老年区:OldGen
元数据空间(Metaspace):Matespace是不是在虚拟机内部, 而是占用服务器的内存空间,这是和1.7最大的区别
2.3 为什么废除了1.7的永久区
现实中是因为永久代内存总会发生不够用或者内存泄漏, 基于此将永久区废弃, 改为使用本地的内存空间
2.4 通过jstat命令进行查看堆内存的使用情况
jstat 参数指令 进程id 时间间隔 查询次数jstat -class 29200
查看类加载情况
loaded: 加载类的数量
Bytes:类占得空间
uloaded:未加载类的数量
Time: 加载占用的时间
![](/assets/blank.gif)
jstat -compiler 29200
查看编译情况
![](/assets/blank.gif)
查看垃圾回收器的使用情况jstat -gc 29200 1000 10
每1000毫秒(1秒)钟打印一次gc使用情况, 总共打印10次
![](/assets/blank.gif)
- jmap的使用以及内存溢出分析
3.1 查看内存使用情况
jmap -heap 29200
3.2 查看内存中对象数量及大小:
jmap -histo <pid> | more
查看所有对象的jmap -histo:live <pid> | more
查看活跃对象的
![](/assets/blank.gif)
[B-> byte
[I -> int
[C->char
3.3 将内存使用情况dump到文件中, jhat对快照文件分析
jmap -dump:format=b,file=filename <pid>
例如 jmap -dump:format=b,file=dumptest.dat 29200 会生成一份29200内存使用情况的二进制文件dumptest.dat
使用jhat对dump的二进制文件分析:jhat port 9999 dumptest.dat
![](/assets/blank.gif)
浏览器访问7000端口:
![](/assets/blank.gif)
- 内存溢出的定位与分析
内存溢出在生产环境中经常会遇到, 比如不断地将数据写入到一个集合中,出现了死循环, 读取超大文件等等,都可能造成内存溢出。
4.1模拟内存溢出:
设置jvm参数: -Xms8m -Xmx8m -XX:+HeapDumpOnOutOfMemoryError
jvm初始内存8m, 最大内存8m, 内存溢出时dump内存快照
编写代码:
public static void main(String[] args) {ArrayList<String> strings = new ArrayList<>();for (int i = 0; i <= 1000000000; i++){String id = "";for (int j = 0; j < 1000; j++){id += UUID.randomUUID().toString();}strings.add(id);}}
复制代码
mat工具分析内存
![](/assets/blank.gif)
4.2 jstack的使用:
有时候我们需要查看jvm中的线程执行情况, 比如发现CPU的负载突然增高,出现了死锁,死循环等, 由于程序正常运行的,没有任何的输出, 从日志方面也看不出什么问题, 需要从jvm的内部线程的执行情况查找并且分析原因。jstack <pid>
可以看到当前pid进程中所有线程的执行情况。
- jstack中Java中线程的状态
- 初始状态(NEW): 创建一个thread对象, 但还未调用start启动线程, 则处于初始状态
- 运行状态(RUNNABLE):
- 就绪状态: 等待CPU分配执行权, 放在就绪队列中
- 运行状态:获得CPU的执行权, 一个CPU在同一时间只能执行一个线程,所以每个CPU在每个时刻都只有一条运行态的线程。
- 阻塞状态(BLOCKED):java中指请求某一锁失败时, 线程会进入阻塞态, 阻塞态会不断地请求资源, 一旦请求成功就会进入就绪队列, 等待CPU分配。
- 等待状态(WAITING):无线等待, 当线程中调用 wait, join, park等函数时,线程进入等待状态,等待线程会释放CPU以及锁资源,进入等待队列, 需要其他线程指示才能继续运行。
- 超时等待态 (TIMED_WAITING): 有限等待,与等待态的区别是, 到了超时时间会进入阻塞队列, 开始竞争锁。
- 终止态
5.1死锁问题
模拟死锁问题:
private static Object obj1 = new Object();private static Object obj2 = new Object();public static void main(String[] args) {new Thread(new Thread1()).start();new Thread(new Thread2()).start();}private static class Thread1 implements Runnable{@Overridepublic void run() {synchronized (obj1){System.out.println("Thread1 拿到了 obj1 的锁!");try {// 停顿2秒的意义在于,让Thread2线程拿到obj2的锁Thread.sleep(2000);} catch (InterruptedException e) {e.printStackTrace();}synchronized (obj2){System.out.println("Thread1 拿到了 obj2 的锁!");}}}}private static class Thread2 implements Runnable{@Overridepublic void run() {synchronized (obj2){System.out.println("Thread2 拿到了 obj2 的锁!");try {// 停顿2秒的意义在于,让Thread1线程拿到obj1的锁Thread.sleep(2000);} catch (InterruptedException e) {e.printStackTrace();}synchronized (obj1){System.out.println("Thread2 拿到了 obj1 的锁!");}}}}
复制代码
线程1和线程2相互持续持有对方需要的锁资源, 造成死锁问题。
使用jstack查看死锁进程:
![](/assets/blank.gif)
![](/assets/blank.gif)
jstack查找除了发生死锁进程的原因, 以及对应的堆栈信息。
- 使用JDK子代的 Java VisualVm
综合的结合了以上介绍jvm性能查看的jdk自带可视化工具:
位置: 当前jdk安装目录bin下的jvisualvm
![](/assets/blank.gif)
既可以查看本地java进程, 也可以查看远程进程
配置远程java进程如tomcat的启动文件catalina.sh, 允许jmx远程监控
JAVA_OPTS="
-Dcom.sun.management.jmxremote
-Dcom.sun.management.jmxremote.port=9999
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false"
复制代码
开放9999端口, 不需要认证,关闭ssl认证
作者:麒麟才子
链接:https://juejin.cn/post/6899287575794548750
来源:掘金
hive性能调优实战pdf_1分钟带你入门JVM性能调优,实战解析调优工具相关推荐
- 8分钟带你入门人工智能,互联网大厂都在用的高能AI算法
哈喽,大家好,我是 Jack. 不少小伙伴问我,互联网大厂都在用哪些算法?有哪些算法值得学习? 这次,我做了一个视频,又剪了两周多,速度有点慢,但内容绝对充实. 主要是盘点一些互联网巨头,都在使用的人 ...
- Android 3分钟带你入门开发测试
本文首发于 vivo互联网技术 微信公众号 链接:https://mp.weixin.qq.com/s/-TW7p3z3vJ3GJw7X9u7dVg 作者:Zhu Yifei 作为一名合格的开发人员, ...
- 二十分钟带你了解JVM性能调优与实战进阶
ZGC 诞生原因 Java生态非常强大,但还不够,有些场景仍处于劣势,而ZGC的出现可以让Java语言抢占其他语言的某些特定领域市场.比如 谷歌主导的Android手机系统显示卡顿. 证券交易市场,实 ...
- 15分钟带你入门sklearn与机器学习——分类算法篇
作者 | 何从庆 本文转载自AI算法之心(ID:AIHeartForYou) [导读]众所周知,Scikit-learn(以前称为scikits.learn)是一个用于Python编程语言的免费软件机 ...
- 15 分钟带你入门 sklearn 与机器学习(分类算法篇)
众所周知,Scikit-learn(以前称为scikits.learn)是一个用于Python编程语言的免费软件机器学习库.它具有各种分类,回归和聚类算法,包括支持向量机,随机森林,梯度增强,k-me ...
- Sklearn 损失函数如何应用到_15 分钟带你入门 sklearn 与机器学习(分类算法篇)...
众所周知,Scikit-learn(以前称为scikits.learn)是一个用于Python编程语言的免费软件机器学习库.它具有各种分类,回归和聚类算法,包括支持向量机,随机森林,梯度增强,k-me ...
- a*算法matlab代码_10分钟带你入门MATLAB
10分钟带你快速入门MATLABhttps://www.zhihu.com/video/1234089282815188992 前一段时间我发现有些小伙伴MATLAB基础比较薄弱,今天我来让各位小 ...
- Java 面试必备 | 7 个实验带你精通 JVM 性能调优!
近些年来,无论是使用规模.开发者人数,还是技术生态成熟度.工具的丰富程度,Java 都是后端语言中当之无愧的王者,工资自然也是不菲
- 一起玩react 10分钟带你入门ant-design-pro
前言 这篇文章主要根据自己最近一个月从学习react到最近实际使用ant-design-pro,谈一谈自己的使用心得,个人见解有误的地方望大家指正! 1.为什么要选择ant-design-pro? 其 ...
最新文章
- php 动态彩码辨色 接口的调用_好用的云函数!后端低代码接口开发,零基础编写API接口...
- 深度学习核心技术精讲100篇(十一)-Google利器超强特征提取网络(Transformer)
- [云炬创业基础笔记]做好市场调研
- 40亿条/秒!Flink流批一体在阿里双11首次落地的背后
- 如何用C#检查硬盘是否是固态硬盘SSD
- 学习Linux课程第十二天
- Windows 环境下 git 客户端中的 git-bash 和 MINGW64
- 【JS 逆向百例】XHR 断点调试,Steam 登录逆向
- php学历要求_“最好编程语言” PHP面试的两三事
- 《中国人工智能学会通讯》——11.28 统一先验建模框架 II:整数规划
- Windows RPC Demo实现
- vue实例练习和vue样式练习
- win10绝地求生游戏崩溃怎么解决
- 携程机票业务数据仓库实践
- Flutter图片裁剪
- teradata查看正在运行的进程_一种基于greenplum数据库的状态检查及性能监控工具.doc...
- ChatGPT有效提问技巧
- 蓝桥杯练习之用Python解手算题
- Bench 2022 | 第一届 OpenBench 国际研讨会精彩回顾
- git报错:ssh: Could not resolve hostname gitlab.yto.net.cn:
热门文章
- php测试网络通不通函数,PHP检查库或函数是否可用的方法
- cppcheck编译安装命令
- 正则表达式 \w \d . \s常用字符的简写
- jsoncpp空数组
- H.264编码系统几个比较重要的算法
- oracle删除unique key,【PK】Oracle 10g删除主键约束后无法删除唯一约束索引问题的模拟与分析...
- python最流行的框架_2020年最流行Python web开发框架(下)
- 如何重置linux,linux如何重置服务器
- 轴只显示5个刻度_组团投资5亿元!武平集中签约5个新型显示产业链投资项目
- mysql数据放在什么位置,mysql数据存放的位置在哪