使用ELK 搭建core文件展示平台

展示core文件的意义：

当大规模core发生时，方便迅速定位某个功能并回退配置，不用一台一台登录查看
方便检索core 与版本的对应关系，方便知道某个core是从哪个版本开始的，core集中的机器类型等

总而言之，收集信息更有利于管理和发现规律，方便排查。

原先core 展示是边缘机器通过调试core文件将信息post到中心，入mysql 使用PHP框架查询展示，是一种传统的数据流：数据=》http=》mysql=》web，而我们后端人员做出来的web比较简陋

在了解日志数据采集展示、和ELK 后，发现core 文件也可以走ELK 体系，堪称完美。

数据流：数据=》日志=》ES=》kibana

ELK 体系可以方便做的事情太多了！

效果图：

core 文件原始信息：使用提取core 文件debuginfo

"gdb --core=%s <<EOF\nbt\nq\nEOF"

输出到文件的格式, 分行显示使用\n 分隔符：

{"ServerIP":"192.168.1.31","Comp":"XXX","CompVersion":"XXX-1.0-14.2","CoreTime":"2019-11-15 16:27:36","CoreName":"core.18205","DebugInfo":"#0  0x00007f2774e9ae63 in epoll_wait () from /usr/lib64/libc.so.6\n#1  0x000000000044100f in do_comm_select ()\n#2  0x0000000000440c09 in comm_select ()\n#3  0x000000000047b94f in main ()"}

file-beat

filebeat.inputs:
- type: logenabled: truepaths:- /usr/local/coreinfo/*exclude_files: [".swp$"]json.keys_under_root: truejson.overwrite_keys: truefields:logtype: cache_core
- type: logenabled: truepaths:- /usr/local/nginx/logs/error*.logfields:logtype: nginxerrorfilebeat.config.modules:path: ${path.config}/modules.d/*.ymlreload.enabled: falsesetup.template.settings:index.number_of_shards: 3setup.kibana:output.kafka:enabled: truehosts: ["xxx1:9092","xxx2:9092","xxx3:9092"]topic: "cache"

logstash

input {kafka {bootstrap_servers => ["xxx1:9092,xxx2:9092,xxx3:9092"]topics => ["cache"]client_id => "logstash"group_id => "logstash"consumer_threads => 5auto_offset_reset => "latest"decorate_events => truecodec => "plain"type => "cache"}
}
filter{if [type] == "cache" {json {source => "message"#target => "doc"#remove_field => ["message"]}mutate {copy => { "[fields][logtype]" => "doc_type" }}}
}
output {if [type] == "cache" {    elasticsearch {hosts => ["xxx:9200","xxx:9200"]index => "logstash-cache-%{+YYYY.MM}"document_type => "cache"workers => 1template_overwrite => true}}
}

ELK 更多使用示例及集群方案见下章

使用ELK 搭建core文件展示平台相关推荐

使用ELK搭建统一日志分析平台
使用ELK(Logstash+ElasticSearch+Kibana)搭建统一日志分析平台一.背景分析为了应付我们日益复杂的业务需求,系统设计趋近模块化,每个模块各司其职由不同人员开发,打印的日 ...
RabbitMQ + ELK 搭建日志平台
CentOS下使用ELK套件搭建日志分析和监控平台 2015年01月30日 17:32:29 i_chips 阅读数:24252 https://blog.csdn.net/i_chips/artic ...
SpringCloud + kafka + ELK 搭建微服务日志管理平台
SpringCloud + kafka + ELK 搭建微服务日志管理平台 2019-12-31,写在前面的话今天是2019最后一天了,最近几天都在搞这块微服务日志管理的事情,有很多种方案实现,每种 ...
使用elk+redis搭建nginx日志分析平台（引）
http://www.cnblogs.com/yjf512/p/4199105.html elk+redis 搭建nginx日志分析平台 logstash,elasticsearch,kibana 怎 ...
ELK+redis搭建nginx日志分析平台
ELK+redis搭建nginx日志分析平台发表于 2015-08-19 | 分类于 Linux/Unix | ELK简介 ELKStack即Elasticsearch + Logs ...
Centos6.5使用ELK(Elasticsearch + Logstash + Kibana) 搭建日志集中分析平台实践
Centos6.5安装Logstash ELK stack 日志管理系统概述: 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误 ...
搭建可视化日志分析平台ELK
文章目录 ELK是什么为什么要用ELK ELK如何安装搭建 ElasticSearch 安装一.下载Elasticsearch源码二.安装三.Elasticsearch配置四.新增运行Ela ...
Centos7下使用ELK（Elasticsearch + Logstash + Kibana）搭建日志集中分析平台
Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在 ...
ELK搭建（五）：linux系统日志监控平台搭建
0. 引言现在的生产系统多使用linux系统,在实际生产过程中我们除了需要监控一些业务日志之外,有时也需要监控linux系统本身的日志,来帮助我们进行一些排错和判断.那么这一期,我们就针对linux ...

使用ELK 搭建core文件展示平台

使用ELK 搭建core文件展示平台

展示core文件的意义：

使用ELK 搭建core文件展示平台相关推荐

最新文章

热门文章