JVM源码阅读-本地库加载流程和原理
前言
本文主要研究OpenJDK中JVM源码中涉及到native本地库的加载流程和原理的部分。主要目的是为了了解本地库是如何被加载到虚拟机,以及是如何找到并执行本地库里的本地方法,以及JNI的 JNI_OnLoad
和 JNI_OnUnLoad
是何时被调用的 。
1.载入本地库
使用JNI的第一步,往往是在Java代码里面加载本地库的so文件,例如:
public class Test {static {System.loadLibrary("my_native_library_name");} }
那么我们从这个方法作为入口来研究JDK的代码。
2. 寻找本地库文件
System.java
源码在 OpenJdk/jdk/src/share/classes/java/lang/System.java
public static void loadLibrary(String libname) {Runtime.getRuntime().loadLibrary0(getCallerClass(), libname);}
Runtime.java
源码在 OpenJdk/jdk/src/share/classes/java/lang/Runtime.java
然后来看 java.lang.Runtime
类时如何来 loadLibrary 的:
synchronized void loadLibrary0(Class fromClass, String libname) {SecurityManager security = System.getSecurityManager();if (security != null) {security.checkLink(libname);}if (libname.indexOf((int)File.separatorChar) != -1) {throw new UnsatisfiedLinkError("Directory separator should not appear in library name: " + libname);}ClassLoader.loadLibrary(fromClass, libname, false);}
它首先做了一些安全性检查,然后使用 ClassLoader
来载入本地库的。
ClassLoader.java
源码在 OpenJdk/jdk/src/share/classes/java/lang/ClassLoader.java
接下来看 ClassLoader
是如何实现的具体的加载工作的:
首先根据 libname
参数找到本地库的文件路径,并访问该so库文件来载入,
在这里会在几个地方去找so库文件:
- Class Loader找到的绝对路径(class path)
java.library.path
定义的目录下(windows下的PATH,linux下的LD_LIBRARY_PATH)sun.boot.library.path
定义的目录下
usr_paths = initializePath("java.library.path"); sys_paths = initializePath("sun.boot.library.path"); // 首先从class loader的目录读取 String libfilename = loader.findLibrary(name); // ... File libfile = new File(libfilename); // ... if (loadLibrary0(fromClass, libfile)) {return; } // 然后尝试从sys_paths目录下读取so文件 for (int i = 0 ; i < sys_paths.length ; i++) {File libfile = new File(sys_paths[i], System.mapLibraryName(name));if (loadLibrary0(fromClass, libfile)) {return;} } // 最后尝试从usr_paths目录下读取so文件 for (int i = 0 ; i < usr_paths.length ; i++) {File libfile = new File(usr_paths[i], System.mapLibraryName(name));if (loadLibrary0(fromClass, libfile)) {return;} }
其中可以看到,对于传入给 System.loadLibrary(String libname)
的参数 libname
是通过调用 System.mapLibraryName
方法来将其映射为库文件的文件名。
这个方法是一个native方法,不同系统有不同的实现,具体的区别主要在于前缀和扩展名的不同,例如在 linux 平台下前缀和扩展名分为定义为:
#define JNI_LIB_PREFIX "lib" #define JNI_LIB_SUFFIX ".so"
3. 维护本地库列表
对于找到so库文件以后,具体的加载工作是由 loadLibrary0
方法来完成的,
首先如果有 ClassLoader
则将本地库加载到该 ClassLoader
的本地库列表中,如果没有则加载到系统本地库列表中。
ClassLoader loader = (fromClass == null) ? null : fromClass.getClassLoader(); Vector<NativeLibrary> libs = loader != null ? loader.nativeLibraries : systemNativeLibraries;
然后遍历已经加载的本地库列表,如果发现这个本地库已经被system或这个classLoader加载过了,则不再执行加载工作,直接返回true。这里也防止了我们重复的去调用 System.loadLibrary
去加载同一个库。
这里需要注意的是一个本地库只能被同一个 ClassLoader
(或线程)加载,一旦被某个 ClassLoader
(或线程)加载过了,再使用另一个 ClassLoader
(或线程)去加载它,则会抛出异常。
然后的本地库都会被封装成 NativeLibrary
对象,并存入 ClassLoader 的静态Stack里面。然后调用它的 load
方法来完成加载功能。
这里需要先了解一下,本地库被谁加载,加载以后存在哪里:
首先系统类去维护一个本地库列表,其中保存了由系统加载的本地库名称。
// Native libraries belonging to system classes. private static Vector<NativeLibrary> systemNativeLibraries = new Vector<>();
然后每个 ClassLoader 实例都必须去维护一个列表,其中保存了所有由它加载过的本地库名称。
// Native libraries associated with the class loader. private Vector<NativeLibrary> nativeLibraries = new Vector<>();
最有所有的被加载过的本地库名称列表,以静态变量的形式保存起来。
// All native library names we've loaded. private static Vector<String> loadedLibraryNames = new Vector<>();
然后所有的本地库在加载后,都被以 NativeLibrary
类型保存在 ClassLoader 的静态Stack里。
NativeLibrary
源码在 OpenJdk/jdk/src/share/classes/java/lang/ClassLoader.java
NativeLibrary是ClassLoader的静态内部类,用于封装已经加载过的本地库信息。每个NativeLibrary对象都需要有一个JNI的版本号。这个版本号是虚拟机在载入本地库的时候获取并设置的。
它有主要的三个方法,并且它们都是native方法,依次是:
native void load(String name); native long find(String name); native void unload();
load
方法用于加载本地库。
find
方法用于找到本地库的指针地址。
unload
方法用于卸载本地库。
另外在其 finalize
方法里,将其从 ClassLoader 中保存的已加载本地库列表中移除。
4. 加载和卸载本地库
ClassLoader.c
源码在:OpenJDK/jdk/src/share/native/java/lang/ClassLoader.c
在此主要关注java层的NativeLibrary类其中的三个native方法,来了解具体是如何加载和卸载本地库的。
NativeLibrary_load
首先来看本地代码是如何加载一个本地库的。
JNIEXPORT void JNICALL Java_java_lang_ClassLoader_00024NativeLibrary_load(JNIEnv *env, jobject this, jstring name)
注意:这里的
_00024
表示的是$
符号,用来在java中表示内部类。
这里需要说明的是最后一个参数 name
,它是在构建一个 NativeLibrary
对象时传进来的,是本地库文件的完整路径,其是调用 Java 中的 File.getCanonicalPath()
方法来获取的。
Step 1: 先加载本地库文件
其中最关键的在于根据传入的这个 name (会将jstring类型转换成char*类型),来加载本地库:
handle = JVM_LoadLibrary(cname);
Step 2: 再执行JNI_OnLoad函数
在其加载成功后,会去寻找 JNI_OnLoad
函数,并执行它, JNI_OnLoad
函数返回的其使用的JNI版本号的值,如果没有找到该方法,则默认使用 JNI 1_1 作为版本号。
如果返回的是一个不支持的版本号,则会抛出 UnsatisfiedLinkError
异常。
其中 JVM_LoadLibrary
函数定义为:
OpenJdk/jdk/src/share/javavm/export 目录下的 jvm.h
文件中:
JNIEXPORT void * JNICALL JVM_LoadLibrary(const char *name);
具体的实现由虚拟机在实现,例如 hotspot 的实现在
OpenJdk/hotspot/src/share/vm/prims 目录下的 jvm.cpp
文件:
JVM_ENTRY_NO_ENV(void*, JVM_LoadLibrary(const char* name))//%note jvm_ct JVMWrapper2("JVM_LoadLibrary (%s)", name);char ebuf[1024];void *load_result;{ThreadToNativeFromVM ttnfvm(thread);load_result = os::dll_load(name, ebuf, sizeof ebuf);}if (load_result == NULL) {char msg[1024];jio_snprintf(msg, sizeof msg, "%s: %s", name, ebuf);// Since 'ebuf' may contain a string encoded using // platform encoding scheme, we need to pass // Exceptions::unsafe_to_utf8 to the new_exception method // as the last argument. See bug 6367357. Handle h_exception = Exceptions::new_exception(thread,vmSymbols::java_lang_UnsatisfiedLinkError(),msg, Exceptions::unsafe_to_utf8);THROW_HANDLE_0(h_exception);}return load_result; JVM_END
其中能看到重要的在于 os::dll_load
函数,它是根据系统不同而由不同的实现的。
linux实现
例如在 linux 系统下的实现在 openjdk/hotspot/src/os/linux/vm/os_linux.cpp
文件中。
它其中主要做了两件事情,一个是使用 linux 的 dlopen
来打开这个so本地库文件,再则检查了这个so本地库文件是否和当前运行虚拟机的CPU架构是否相同。
dlopen函数定义在 dlfcn.h
,原型为:
void * dlopen( const char * pathname, int mode);
其中第二个参数使用的是 RTLD_LAZY: 异常绑定。
windows实现
windows的实现是使用 LoadLibrary
函数来加载 dll 本地库。
NativeLibrary_unload
Step1: 先执行JNI_OnUnLoad方法
虚拟机在卸载本地库文件之前,会先回调本地库文件中的 JNI_OnUnLoad
函数,可以在该函数中执行一些清理工作,例如清理全局变量等。
Step2: 再卸载本地库文件
JVM_UnloadLibrary
和 `JVM_loadLibrary
函数一样,具体根据平台不同而实现:
在linux平台上,使用 dlopen
函数来 load so文件, 使用 dlclose
函数来 unload.
在windows平台上,使用 LoadLibrary
函数来load dll文件,来 FreeLibrary
函数来 unload.
NativeLibrary_find
寻找本地库里的某个方法或全局变量的内存地址。
在不同平台上的实现不一样:
在linux平台上,使用dlsym
函数来获取某个方法的内存地址。
在windows平台上,使用 GetProcAddress
函数来获取某个方法的内存地址。
注意:在 NativeLibrary_load
和 NativeLibrary_unload
两个函数内,不是调用了so库里面的 JNI_OnLoad
和 JNI_OnUnLoad
函数嘛,其就是使用 NativeLibrary_find
函数来找到这两个函数地址,并执行它们了。
handle = jlong_to_ptr((*env)->GetLongField(env, this, handleID)); JNI_OnUnload = (JNI_OnUnload_t )JVM_FindLibraryEntry(handle, onUnloadSymbols[i]); if (JNI_OnUnload) {JavaVM *jvm;(*env)->GetJavaVM(env, &jvm);(*JNI_OnUnload)(jvm, NULL); }
这里面有一个比较重要的变量就是 handleID
,这个handleID是从哪里来,存在哪里都比较关键。
首先我们来看这个handleID来至哪里,它其实是 JVM_LoadLibrary
返回的值,即 dlopen
返回的值,这个比较简单,它是在打开本地库时返回的句柄,然后这个句柄并没有保存在native层,而是将其保存在了Java层。
在调用 NativeLibrary_load
函数里,将这个 handleID
保存到了这个 NativeLibrary
Java对象的 long handle
成员域里。每次需要使用 handleID
的时候都从这个Java对象里面的成员域去取。
5. 加载流程小结
从整个加载本地库的流程来看,基本上还是调用和平台有关的函数来完成的,并在加载和卸载的时候分别调用了两个生命周期回调函数 JNI_OnLoad
和 JNI_OnUnLoad
。
以linux平台为例,简单总结一下整个so库的加载流程:
- 首先
System.loadLibrary()
被调用,开始整个加载过程。 - 其中调用
ClassLoader
对象来完成主要工作,将每个本地库封装成NativeLibrary
对象,并以静态变量存到已经加载过的栈中。 - 执行
NativeLibrary
类的load
native方法,来交给native层去指向具体的加载工作。 - native层
ClassLoader.c
中的Java_java_lang_ClassLoader_00024NativeLibrary_load
函数被调用。 - 在native load函数中首先使用
dlopen
来加载so本地库文件,并将返回的handle保存到NativeLibrary
对象中。 - 接着查找已经加载的so本地库中的
JNI_OnLoad
函数,并执行它。 - 整个so本地库的加载流程完毕。
只有在 NativeLibrary
对象被GC回收的时候,其 finalize
方法被调用了,对应加载的本地库才会被 unload 。这种情况一般来说并不会发生,因为 NativeLibrary
对象是以静态变量的形式被保存的,而静态变量是 GC roots,一般来说都不会被回收掉的。
TODO: 那请问
JNI_OnUnLoad
函数什么情况下会被调用?虚拟机关闭的时候?一个本地库被load后,是否能手动的unload?什么情况下才可能被unload?
结语
参考资料,JVM源码:
- OpenJdk/jdk/src/share/classes/java/lang/System.java
- OpenJdk/jdk/src/share/classes/java/lang/Runtime.java
- OpenJdk/jdk/src/share/classes/java/lang/ClassLoader.java
- OpenJDK/jdk/src/share/native/java/lang/ClassLoader.c
JVM源码阅读-本地库加载流程和原理相关推荐
- angularjs源码阅读-1-模块加载器
angularjs源码-setupModuleLoader 背景和开始 publishExternalAPI引入setupModuleLoader setupModuleLoader下面的逻辑 ens ...
- 【Spring源码分析】Bean加载流程概览
代码入口 之前写文章都会啰啰嗦嗦一大堆再开始,进入[Spring源码分析]这个板块就直接切入正题了. 很多朋友可能想看Spring源码,但是不知道应当如何入手去看,这个可以理解:Java开发者通常从事 ...
- beaninfo详解源码解析 java_【Spring源码分析】Bean加载流程概览
代码入口 之前写文章都会啰啰嗦嗦一大堆再开始,进入[Spring源码分析]这个板块就直接切入正题了. 很多朋友可能想看Spring源码,但是不知道应当如何入手去看,这个可以理解:Java开发者通常从事 ...
- Spring源码分析:Bean加载流程概览及配置文件读取
很多朋友可能想看Spring源码,但是不知道应当如何入手去看,这个可以理解:Java开发者通常从事的都是Java Web的工作,对于程序员来说,一个Web项目用到Spring,只是配置一下配置文件而已 ...
- 从源码解析-结合Activity加载流程深入理解ActivityThrad的工作逻辑
ActivityThread源码解析 前言 类简称 类简介 一 二 三 四 五 代理和桩的理解 ActivityThread ActivityThread.main AT.attach AMN.get ...
- 【框架源码】Spring源码解析之BeanDefinition加载流程解析
观看本文之前,我们先思考一个问题,Spring是如何描述Bean对象的? Spring是根据BeanDefinition来创建Bean对象,BeanDefinition就是Spring中表示Bean定 ...
- Android 11.0 Settings源码分析 - 主界面加载
Android 11.0 Settings源码分析 - 主界面加载 本篇主要记录AndroidR Settings源码主界面加载流程,方便后续工作调试其流程. Settings代码路径: packag ...
- 基于 GoogleMap 离线 API 源码在内网中加载卫星地图的方法
1. 概述 我们之前为大家分享过在三维地球开源平台离线加载卫星影像的方法,主要包括基于桌面端的OsgEarth开源三维地球和基于Web端的Cesium开源三维地球等平台的局域网离线加载. 另外,也为大 ...
- android资源加载流程6,FrameWork源码解析(6)-AssetManager加载资源过程
之前一段时间项目比较忙所以一直没有更新,接下来准备把插件化系列的文章写完,今天我们就先跳过ContentProvider源码解析来讲资源加载相关的知识,资源加载可以说是插件化非常重要的一环,我们很有必 ...
最新文章
- IDEA打包成war部署web项目
- Individual Project-——word_frequency——final requirement
- linux 新建用户和权限分配
- 宽屏图片轮播html,jQuery实现宽屏图片轮播实例教程
- 基于python技术的自动化运维是干嘛的_如何理解Python与自动化运维的关系。?
- 读《系统虚拟化-原理与实现》-第三章
- 【LOJ166】拉格朗日插值2【拉格朗日插值】【NTT卷积】
- 以编程方式确定Java类的JDK编译版本
- 用 GDI 操作 EMF 文件[6]: GetEnhMetaFileHeader - 获取 EMF 的头文件
- MyEclipse导入项目后 js文件报错
- 数据库-MySQL-JDBC-结果集
- 运筹说 第4期|掌握运筹学软件,走遍天下都不怕
- 防止ARP欺骗的方法!!!
- 北航计算机组成原理课程设计-2021秋 PreProject-MIPS-入门简介
- level2行情接口十档行情快照如何去运用?
- 数据库专辑--SQL分类汇总(group by...with rollup),增加“总计”字段
- java代理模式学习笔记
- 24个基本指标精粹讲解(3)--WR
- Google,微软,科大讯飞的语音识别引擎对比
- 微信分享解决wx not defined