查了好多资料，发明还是不全，干脆自己整理吧，至少保证在我的做法正确的，以免误导读者，也是给自己做个记录吧！

明天收到试测部门提的一个bug，bug的容内如下：

每日一道理
爱心是一片照射在冬日的阳光，使贫病交迫的人感到人间的温暖；爱心是一泓出现在沙漠里的泉水，使濒临绝境的人从新看到生活的希望；爱心是一首飘荡在夜空的歌谣，使孤苦无依的人获得心灵的慰藉。
问题象现：
suse10务服器升级到suse11 SP2后，aaasevice、loginrpc、paycenter三个网元分离生发了一次core dump

用使dmesg查看：
[166996.321057] aaaservice[30535]: segfault at 7fc667d285e2 ip 00007fc619b5ca30 sp 00007fc5defda448 error 6 in libthrift-0.8.0.so[7fc619af8000+a7000]
[175616.589046] loginrpc[30324]: segfault at 7f217e4b4fb8 ip 00007f217e24bfb8 sp 00007f2155cffb58 error 4 in libthrift-0.8.0.so[7f217e210000+a7000]
[197539.833582] paycenter[30499]: segfault at 7f415b9f3fb8 ip 00007f415b78afb8 sp 00007f41382c9768 error 4 in libthrift-0.8.0.so[7f415b74f000+a7000]

务服器从suse 10升级到suse 11 sp2后，有三个用使thrift的网元core dump了。
gdb查看core 文件，可以提供线索的息信如下：
Try: zypper install -C "debuginfo(build-id)=bddef848141961caba26bc83b17e354010ef4107"
Missing separate debuginfo for /lib64/libexpat.so.1
Try: zypper install -C "debuginfo(build-id)=2696e815e28d6ef4fcb614baf8b7802891fd5341"

warning: .dynamic section for "/usr/local/lib/libthrift-0.8.0.so" is not at the expected address (wrong library or version mismatch?)

warning: .dynamic section for "/usr/local/lib/libactivemq-cpp.so.14" is not at the expected address (wrong library or version mismatch?)

warning: .dynamic section for "/usr/local/lib/libapr-1.so.0" is not at the expected address (wrong library or version mismatch?)

warning: .dynamic section for "/usr/local/lib/libaprutil-1.so.0" is not at the expected address (wrong library or version mismatch?)

用gdb查看堆栈息信，发明堆栈都是乱的，没有任何可用的息信：

Program terminated with signal 11, Segmentation fault.
#0  0x00007f217e24bfb8 in ?? ()
(gdb) where
#0  0x00007f217e24bfb8 in ?? ()
#1  0x00007f217e276229 in ?? ()
#2  0x00007f215001cf40 in ?? ()
#3  0x0000000000000000 in ?? ()
(gdb) 
查看系统core dump的志日：
Apr 24 03:12:57 linux-h9nh kernel: [175616.589046] loginrpc[30324]: segfault at 7f217e4b4fb8 ip 00007f217e24bfb8 sp 00007f2155cffb58 error 4 in libthrift-0.8.0.so[7f217e210000+a7000]
示提都和thrift的动态库有系关，较比试测境环和开发境环的动态库，动态库的版本都是分歧的，开发境环运行的网元都没有任何问题，没有失掉任何的线索。
续继分析core dump的时光点，发明都是在4月24号生发的core dump。
在没有任何息信的可能下，只能查看近最几天试测职员的作操，用使history令命查看历史记录，还好bash的history记录了作操的时光，然后看history里对thrift的作操，查看的息信如下：
linux-h9nh:/usr/webtvinstall/jkh/THRIFT_INSTALL # history | grep thrift
  738  2013-04-23 09:45:13 ./thrift_install.sh
  804  2013-04-23 09:48:38 tar xvf rpm_for_activemq_and_thrift.tar.gz
  806  2013-04-23 09:48:44 cd rpm_for_activemq_and_thrift
  852  2013-04-24 06:57:37 nm /usr/local/lib/libthrift-0.8.0.so
  883  2013-04-24 03:25:43 ls -ltr *thrift*
  894  2013-04-24 05:15:48 ls -l|grep thrift
  925  2013-04-24 05:26:10 vi thrift_install.sh 
发明试测职员在4月23号的17：45分重装了thrift。core dump都生发在重装以后，问题和重装有关？
于是通过志日查看三个网元的动启和core dump时光：
-rw-r--r-- 1 hitv hitv    3086 Apr 23 08:02 /var/log/hitv/aaaservice[13-04-23:08:03:39]
-rw-r--r-- 1 hitv hitv   45289 Apr 24 00:49 /var/log/hitv/aaaservice[13-04-24:00:49:20]
-rw-r--r-- 1 hitv hitv   1856 Apr 23 08:02 /var/log/hitv/loginrpc[13-04-23:08:03:40]
-rw-r--r-- 1 hitv hitv   2752 Apr 23 08:15 /var/log/hitv/loginrpc[13-04-24:03:13:05]
-rw-r--r-- 1 hitv hitv    7115 Apr 23 08:02 /var/log/hitv/paycenter[13-04-23:08:03:40]
-rw-r--r-- 1 hitv hitv 3365295 Apr 24 09:18 /var/log/hitv/paycenter[13-04-24:09:18:40]
发明一个独特的点特，网元都是在重装库之前动启的，core dump都生发在重装库以后，我们的网元都是务服的进程，只有接收到消息后才停止理处，根据以往的教训，换库后如果不重启网元，网元接收消息理处时会从新加载动态库，这个时候就会生发core dump。
到此，发明问题的原因，费花1.5个小时。

文章结束给大家分享下程序员的一些笑话语录： 与女友分手两月有余，精神萎靡，面带菜色。家人介绍一女孩，昨日与其相亲。女孩果然漂亮，一向吝啬的我决定破例请她吃晚饭。
选了一个蛮贵的西餐厅，点了比较贵的菜。女孩眉开眼笑，与我谈得很投机。聊着聊着，她说：“我给你讲个笑话吧。”“ok”
　　“一只螳螂要给一只雌蝴蝶介绍对象，见面时发现对方是只雄蜘蛛。见面后螳螂问蝴蝶‘如何？’，‘他长的太难看了’，‘别看人家长的丑，人家还有网站呢’。”
　　“呵呵………”我笑。忽然她问：“你有网站吗？” 　

网元查看一个无厘头的core dump问题定位相关推荐

  1. 客户一个无厘头的BUG ，让我的青春痘炸了2颗

    本文预计阅读时间需要"3"分钟 今日关键词:奇葩缺陷 01 Show Time & 引言的没有 ,进行进入主题:插一句,作为从业互联网事业的测试这个重要岗位来说, 身为测试 ...

  2. 无厘头的mysql故障排除

    公司网站已经趋于正常,作为系统管理员终于可以暂时的舒一口气.在继续持续关注服务器管理与优化的同时,可以有时间停下来回顾,总结,为不断的提高积蓄能量.         先说一个让我哭笑不得的mysql故 ...

  3. 漫谈惯性、视觉暂留、潜意识、混合动力发动机、先入为主 - 纯粹的无厘头？...

    漫谈惯性.视觉暂留.潜意识.混合动力发动机.先入为主 - 纯粹的无厘头? 太阳火神的漂亮人生 (http://blog.csdn.net/opengl_es) 本文遵循"署名-非商业用途-保 ...

  4. 如何用费米思维解决无厘头问题

    " 上一篇文章给大家总体介绍了数据分析面试常考的几类问题,从这篇文章开始,我们就针对一些高频考题进行详细讲解.今天给大家带来的是,如何巧解费米问题" 一.什么是费米问题 在数据分析 ...

  5. electron内核版本引起的 笔记本And台式电脑的视图兼容性问题（不是浏览器兼容），全网首例！无厘头的问题

    事故出在electron +vue 的一个桌面应用上. 主视图是vue + video.js写的一个播放界面. 其他功能就不多赘述了. 有一个功能,是一个拉伸视频的宽高比例,左右上下的偏移的 < ...

  6. 区块链手机密集发布，又是一场无厘头的炒作？

    区块链的话题近年来一向很火,不仅因为比特币价格的飙升,更重要的是,越来越多人正在挖掘区块链所带来的商业机会,比如那个非常著名的"3点钟无眠区块链",而最近,一些手机厂商也将目光聚焦 ...

  7. 脑洞清奇AI君，给小猫咪们起了8000多个无厘头名字丨Colab Demo可用

    郭一璞 发自 首都机场  量子位 报道 | 公众号 QbitAI "我是一只小猫咪,我的名字叫暗之罗密欧(Romeo of Darkness)." 要是给你家主子叫这个名,它一定会 ...

  8. steam 经典 android,一人历时6年开发，这款steam特别好评的无厘头游戏终于移植安卓了……...

    原标题:一人历时6年开发,这款steam特别好评的无厘头游戏终于移植安卓了-- 姬友们爱吃甜甜圈吗? 虽然热量很高,但是那该死的甜美哪个吃货能挡呀-- 可惜手谈姬只会吃,而开发者Ben Esposit ...

  9. 冬日娜刻薄提问雷哭史冬鹏 无厘头堪比韩乔生

    腾讯体育讯 要说谁和刘翔的关系最铁,那非央视名记冬日娜莫属.作为央视的田径 专项记者,冬日娜长年追随刘翔南征北战.对于冬美女的敬业精神,我们深表钦佩.但有时候,冬日娜的提问却有些无厘头,甚至有些可刻薄 ...

最新文章

  1. iis Service Unavailable解决方法(权限问题)
  2. shell 从1加到100
  3. 【Matlab 图像】同时显示两个视频
  4. 专家建议：维护边缘网络安全的五项原则
  5. Intellj idea启动tomcat配置
  6. 背景图处理，这是个好东西记录一下
  7. Protobuffer和json深度对比
  8. 天气预报\气象服务APP素材框架模板|UI及UX设计好帮手
  9. Javafx 报错Exception in Application start method java.lang.reflect.InvocationTargetException
  10. Oracle join连接的使用
  11. [VGG16]——网络结构介绍及搭建(PyTorch)
  12. 《机器学习实战》--资料下载和运行环境
  13. 6种常用的项目管理模式
  14. Google I/O 2021：在重要时刻提供帮助
  15. 浮点型数据的输入和输出（C语言）
  16. 相关性和差异的显著性
  17. idr寄存器、_STM32中的IDR和ODR寄存器
  18. 全网舆情大数据接口学习
  19. 查看iis 网站访问量情况
  20. TCP的状态：SYN, FIN, ACK, PSH, RST, URG

热门文章

  1. JNI开发篇——报错：Flag android.useDeprecatedNdk is no longer supported and will be removed in the next……...
  2. 数组, 数组的初始化
  3. 使用jQuery-UI来实现一个Ajax的自动完成功能（自动填充搜索框的下拉值）
  4. 制作OS X El CAPITAN安装U盘
  5. DAS,SAN,NAS
  6. Exchange Server 2003多服务器安装以及管理工具介绍
  7. python 基础 1.2--pycharm 的安装及使用
  8. Sprint软银宣布计划2019年推出5G商用服务
  9. Elasticsearch Windows 环境搭建
  10. mac本地搭建kafka