【WebLogic】记录一次WebLogic进程无法启动的故障排查过程

故障现象：

WebLogic进程在启动的时候出现报错，导致进程异常SHUTDOWN。

报错信息：

####<Jan 4, 2022 2:51:13 PM CST> <Critical> <WebLogicServer> <aMDSJK02> <AdminServer> <main> <<WLS Kernel>> <> <> <1641279073888> <BEA-000386> <Server subsystem failed. Reason: java.lang.AssertionError: java.lang.reflect.InvocationTargetException
java.lang.AssertionError: java.lang.reflect.InvocationTargetExceptionat weblogic.descriptor.DescriptorManager$SecurityServiceImpl$SecurityProxy._invokeServiceMethod(DescriptorManager.java:175)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl$SecurityProxy.decrypt(DescriptorManager.java:192)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl.decrypt(DescriptorManager.java:114)at weblogic.descriptor.internal.AbstractDescriptorBean._decrypt(AbstractDescriptorBean.java:1191)at weblogic.management.configuration.SecurityConfigurationMBeanImpl.getCredential(SecurityConfigurationMBeanImpl.java:737)at weblogic.security.internal.ServerPrincipalValidatorImpl.getSecret(ServerPrincipalValidatorImpl.java:88)at weblogic.security.internal.ServerPrincipalValidatorImpl.sign(ServerPrincipalValidatorImpl.java:67)at weblogic.security.service.PrivilegedActions$SignPrincipalAction.run(PrivilegedActions.java:62)at java.security.AccessController.doPrivileged(Native Method)at weblogic.security.service.SecurityServiceManager.createServerID(SecurityServiceManager.java:1111)at weblogic.security.service.SecurityServiceManager.getServerID(SecurityServiceManager.java:1124)at weblogic.security.service.SecurityServiceManager.sendASToWire(SecurityServiceManager.java:600)at weblogic.server.channels.ChannelService.resetQOS(ChannelService.java:298)at weblogic.server.channels.ChannelService.start(ChannelService.java:256)at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)at weblogic.work.ExecuteThread.execute(ExecuteThread.java:263)at weblogic.work.ExecuteThread.run(ExecuteThread.java:221)
Caused By: java.lang.reflect.InvocationTargetExceptionat sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)at java.lang.reflect.Method.invoke(Method.java:597)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl$SecurityProxy._invokeServiceMethod(DescriptorManager.java:173)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl$SecurityProxy.decrypt(DescriptorManager.java:192)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl.decrypt(DescriptorManager.java:114)at weblogic.descriptor.internal.AbstractDescriptorBean._decrypt(AbstractDescriptorBean.java:1191)at weblogic.management.configuration.SecurityConfigurationMBeanImpl.getCredential(SecurityConfigurationMBeanImpl.java:737)at weblogic.security.internal.ServerPrincipalValidatorImpl.getSecret(ServerPrincipalValidatorImpl.java:88)at weblogic.security.internal.ServerPrincipalValidatorImpl.sign(ServerPrincipalValidatorImpl.java:67)at weblogic.security.service.PrivilegedActions$SignPrincipalAction.run(PrivilegedActions.java:62)at java.security.AccessController.doPrivileged(Native Method)at weblogic.security.service.SecurityServiceManager.createServerID(SecurityServiceManager.java:1111)at weblogic.security.service.SecurityServiceManager.getServerID(SecurityServiceManager.java:1124)at weblogic.security.service.SecurityServiceManager.sendASToWire(SecurityServiceManager.java:600)at weblogic.server.channels.ChannelService.resetQOS(ChannelService.java:298)at weblogic.server.channels.ChannelService.start(ChannelService.java:256)at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)at weblogic.work.ExecuteThread.execute(ExecuteThread.java:263)at weblogic.work.ExecuteThread.run(ExecuteThread.java:221)
Caused By: weblogic.security.internal.encryption.EncryptionServiceExceptionat weblogic.security.internal.encryption.JSafeEncryptionServiceImpl.decryptBytes(JSafeEncryptionServiceImpl.java:139)at weblogic.security.internal.encryption.JSafeEncryptionServiceImpl.decryptString(JSafeEncryptionServiceImpl.java:187)at weblogic.security.internal.encryption.ClearOrEncryptedService.decrypt(ClearOrEncryptedService.java:96)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)at java.lang.reflect.Method.invoke(Method.java:597)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl$SecurityProxy._invokeServiceMethod(DescriptorManager.java:173)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl$SecurityProxy.decrypt(DescriptorManager.java:192)at weblogic.descriptor.DescriptorManager$SecurityServiceImpl.decrypt(DescriptorManager.java:114)at weblogic.descriptor.internal.AbstractDescriptorBean._decrypt(AbstractDescriptorBean.java:1191)at weblogic.management.configuration.SecurityConfigurationMBeanImpl.getCredential(SecurityConfigurationMBeanImpl.java:737)at weblogic.security.internal.ServerPrincipalValidatorImpl.getSecret(ServerPrincipalValidatorImpl.java:88)at weblogic.security.internal.ServerPrincipalValidatorImpl.sign(ServerPrincipalValidatorImpl.java:67)at weblogic.security.service.PrivilegedActions$SignPrincipalAction.run(PrivilegedActions.java:62)at java.security.AccessController.doPrivileged(Native Method)at weblogic.security.service.SecurityServiceManager.createServerID(SecurityServiceManager.java:1111)at weblogic.security.service.SecurityServiceManager.getServerID(SecurityServiceManager.java:1124)at weblogic.security.service.SecurityServiceManager.sendASToWire(SecurityServiceManager.java:600)at weblogic.server.channels.ChannelService.resetQOS(ChannelService.java:298)at weblogic.server.channels.ChannelService.start(ChannelService.java:256)at weblogic.t3.srvr.SubsystemRequest.run(SubsystemRequest.java:64)at weblogic.work.ExecuteThread.execute(ExecuteThread.java:263)at weblogic.work.ExecuteThread.run(ExecuteThread.java:221)
>
####<Jan 4, 2022 2:51:13 PM CST> <Notice> <WebLogicServer> <aMDSJK02> <AdminServer> <main> <<WLS Kernel>> <> <> <1641279073976> <BEA-000365> <Server state changed to FAILED>
####<Jan 4, 2022 2:51:13 PM CST> <Error> <WebLogicServer> <aMDSJK02> <AdminServer> <main> <<WLS Kernel>> <> <> <1641279073976> <BEA-000383> <A critical service failed. The server will shut itself down>
####<Jan 4, 2022 2:51:13 PM CST> <Notice> <WebLogicServer> <aMDSJK02> <AdminServer> <main> <<WLS Kernel>> <> <> <1641279073978> <BEA-000365> <Server state changed to FORCE_SHUTTING_DOWN>
####<Jan 4, 2022 2:51:13 PM CST> <Info> <WebLogicServer> <aMDSJK02> <AdminServer> <main> <<WLS Kernel>> <> <> <1641279073978> <BEA-000236> <Stopping execute threads.>

故障排查：

根据报错信息分析和故障现象模拟，Oracle原厂工程师判断故障的原因为 SerializedSystemIni.dat （位于$DOMAIN_HOME/security目录下）文件损坏，该文件中包含了具有解密config.xml信息凭证的hash值。另外，Oracle原厂工程师根据官方的文档，试图通过技术手段恢复该文件，但是恢复后的文件并不能使得进程成功启动。

相关文档：

Diagnosing BEA-000386 Critical Message ( Doc ID 1493826.1 )
How to Recover SerializedSystemIni.dat File? ( Doc ID 1602857.1 )

处理方法：

方法-1：重新创建应用域；

方法-2：使用之前应用域的完整备份，进行应用域的恢复。

【WebLogic】记录一次WebLogic进程无法启动的故障排查过程相关推荐

记一次.Net Core程序启动失败的排查过程
阅文时长 | 2分钟字数统计 | 3212字符主要内容 | 1.引言&背景 2.排查.NetCore启动失败详细过程 3.声明与参考资料『记一次.Net Core程序启动失败的排查过程』 ...
生产环境下JAVA进程高CPU占用故障排查
感谢原作者 http://blog.chinaunix.net/uid-10449864-id-3463151.html 问题描述: 生产环境下的某台tomcat7服务器,在刚发布时的时候一切都很正常 ...
记录一次排查进程莫名其妙被杀死的排查过程
0.背景灯火辉煌的北京,一个加班的夜晚.开发组在赶进度,突然间,智慧与勇敢的化身飞哥突然感叹道:"是什么力量?让我的程序存活一会儿就被杀死了." "什么?无端被杀死 ...
服务器系统导致无盘客户机usb失灵,无盘客户机无法启动/故障排查过程
下面的文章是我们客服中心的同事收集,郭有勇同学整理的,在此表示感谢. 1:原因:找不到引导分区排查对象:配置.磁盘-镜像损毁-磁盘故障 2:原因:引导启动失败排查对象:网络.配置.磁盘 -局域网多 ...
记录一次nginx服务器签名证书过期的排查过程
目录问题原因解决问题今天突然发现服务器的下载地址提示不安全,如下图所示: 点击警告图标,会弹出如下提示框,提示"您与次网站之间建立的连接不安全",并在下方标明证书无效. ...
java 僵尸进程_神奇的Java僵尸(defunct)进程问题排查过程
现象描述大概1个月多以前在启动脚本中增加了tail -f 用来启动后追踪日志判断是否启动成功后发现无法执行shutdown.sh(卡住利用curl) 然后无奈使用kill -9 但通过ps - ...
java defunct_神奇的Java僵尸(defunct)进程问题排查过程
现象描述大概1个月多以前在启动脚本中增加了tail -f 用来启动后追踪日志判断是否启动成功后发现无法执行shutdown.sh(卡住利用curl) 然后无奈使用kill -9 但通过ps - ...
Android系统（244）---Zygote进程的启动流程
Android进程系列第二篇---Zygote进程的启动流程内容预览.png 概述: 本文(基于Android O源码)主要讲解Zygote进程创建流程,线程容易创建,但进程的相关的东西都被系统很好 ...
linux运维故障报告,iis7报为应用程序池“xx”提供服务的进程在启动过程中尝试读取配置时报告故障（503错误）处理方法...
亲爱的:若该文章解决了您的问题,可否收藏+评论+分享呢? 最近处理问题,遇到一个棘手的问题,其实也不算棘手,只是自己没认真看日志而已,现在整理下以防止下次忘记.做个深刻教训现象:客户iis7 中所有 ...

【WebLogic】记录一次WebLogic进程无法启动的故障排查过程

【WebLogic】记录一次WebLogic进程无法启动的故障排查过程相关推荐

最新文章

热门文章