在开源的日志管理方案中,最出名的莫过于 ELK 了。

ELK 是三个软件的合称:Elasticsearch、Logstash、Kibana。

Elasticsearch

一个近乎实时查询的全文搜索引擎。Elasticsearch 的设计目标就是要能够处理和搜索巨量的日志数据。

Logstash

读取原始日志,并对其进行分析和过滤,然后将其转发给其他组件(比如 Elasticsearch)进行索引或存储。Logstash 支持丰富的 Input 和 Output 类型,能够处理各种应用的日志。

Kibana

一个基于 JavaScript 的 Web 图形界面程序,专门用于可视化 Elasticsearch 的数据。Kibana 能够查询 Elasticsearch 并通过丰富的图表展示结果。用户可以创建 Dashboard 来监控系统的日志。

用 ELK 这组黄金搭档来监控 Docker 容器的日志

日志处理流程

下图展示了 Docker 部署环境下典型的 ELK 日志处理流程:

Logstash 负责从各个 Docker 容器中提取日志,Logstash将日志转发到 Elasticsearch 进行索引和保存,Kibana 分析和可视化数据。

安装 ELK 套件

ELK 的部署方案可以非常灵活,在规模较大的生产系统中,ELK 有自己的集群,实现了高可用和负载均衡。

采用最小部署方案:在容器中搭建 ELK

docker run -p 5601:5601 -p 9200:9200 -p 5044:5044 -it --name elk sebp/elk

使用的是 sebp/elk 这个现成的 image,里面已经包含了整个 ELK stack。容器启动后 ELK 各组件将分别监听如下端口:

5601 - Kibana web 接口

9200 - Elasticsearch JSON 接口

5044 - Logstash 日志接收接口

先访问一下 Kibana http://10.12.31.22:5601/ 看看效果

当前 Kibana 没有可显示的数据,因为当前 Elasticsearch 还没有任何日志数据。

访问一下 Elasticsearch 的 JSON 接口 http://10.12.31.22:9200/_search?pretty

确实,目前 Elasticsearch 没有与日志相关的 index。

---------------------------------------------引用来自-------------------------------------------------------

https://mp.weixin.qq.com/s?__biz=MzIwMTM5MjUwMg==&mid=2653587982&idx=1&sn=1a943b21d3eaa5c34280472736cfd197&chksm=8d308217ba470b0178864af800806bdd32e5e17fb10b7b4cf26c94ef5b1df8cd80b1c8bce0fb&scene=21#wechat_redirect

转载于:https://www.cnblogs.com/gsophy/p/10855601.html

第 11 章 日志管理 - 089 - 初探 ELK相关推荐

  1. Linux(b站视频兄弟连)自学笔记第十四章——日志管理

    Linux(b站视频兄弟连)自学笔记第十四章--日志管理 简介 rsyslogd 日志轮替 简介 rsyslogd 日志轮替

  2. elk 日志管理_具有ELK的APIGEE API网关日志管理(弹性搜索,Logstash和Kibana)

    elk 日志管理 在本文中,我们将看到如何使用 Elastic Search , Logstash 和 Kibana 管理APIGEE API网关生成的日志 . 下图突出显示了日志数据如何流经ELK堆 ...

  3. 日志管理 GrayLog VS ELK

    Graylog开源版官网: https://www.graylog.org/ Graylog 文档:https://docs.graylog.org/docs GRAYLOG 的架构方向 Graylo ...

  4. 日志管理之 Docker logs - 每天5分钟玩转 Docker 容器技术(87)

    高效的监控和日志管理对保持生产系统持续稳定地运行以及排查问题至关重要. 在微服务架构中,由于容器的数量众多以及快速变化的特性使得记录日志和监控变得越来越重要.考虑到容器短暂和不固定的生命周期,当我们需 ...

  5. 【Linux命令】《鸟哥Linux基础》第十六章 进程管理与SELinux初探

    第十六章 进程管理与SELinux初探 16.1 什么是进程(process) Linux下的所有命令与你能够执行的操作 ===>都与权限有关 如何判断权限? 账号管理中的UID.GID:文件属 ...

  6. BlackBerry 应用程序开发者指南 第二卷:高级--第11章 管理通知(Notification)

    作者:Confach 发表于 2006-04-29 20:28 pm 版权信息:可以任意转载, 转载时请务必以超链接形式标明文章原始出处 和作者信息. http://www.cnblogs.com/c ...

  7. 容器日志管理 (2) 开源日志管理方案 ELK/EFK

    本篇已加入<.NET Core on K8S学习实践系列文章索引>,可以点击查看更多容器化技术相关系列文章.上一篇<容器日志管理(1)>中介绍了Docker自带的logs子命令 ...

  8. 具有ELK的APIGEE API网关日志管理(Elastic Search,Logstash和Kibana)

    在本文中,我们将看到如何使用 Elastic Search , Logstash 和 Kibana 管理APIGEE API网关生成的日志 . 下图突出显示了日志数据如何流经ELK堆栈以进行数据可视化 ...

  9. 喜闻乐见ELK(日志管理分析系统)

    @[TOC] #  1. 简介 ELK(日志管理分析系统),一款能将系统的日志进行分析处理,并且展示到界面上面.集各种强大功能于一身.妈妈再也不用担心我为查日志感到烦恼了. ELK核心的组件是由ela ...

最新文章

  1. java的total_Java LabelResourcePool.totalNum方法代码示例
  2. PAT甲级1068 Find More Coins (30 分):[C++题解]DP、背包问题、dp输出方案
  3. 全志线刷工具如何刷linux,全志 Allwinner V3S 开发环境搭建 (二)安装必要工具
  4. .net core实践系列之SSO-同域实现
  5. 逆向调试完成端口回包实践总结
  6. mysql 8.0 手动安装教程_mysql 8.0.13手动安装教程
  7. 利用apache限制IP并发数和下载流量控制
  8. 每日一乐,健康多滋味~~
  9. 138. 复制带随机指针的链表
  10. Codeforces Round #371 (Div. 2) C. Sonya and Queries 水题
  11. Linux下黑客帝国代码雨
  12. 冲压模板自动标注LISP_CAD AutoLisp实现自动标注序号
  13. python内置函数type(x)的作用_Python内置函数(43)——type
  14. 磁盘基础知识-磁盘的构成
  15. 【软路由安装(PVE+ikuai)】
  16. Android添加蓝牙音响功能
  17. 开源并“免费”的Linux平台DAW——Ardour 4.0发布
  18. amlogic logo amlogic rk tvbox 电视盒 定制化开发(一) 开机logo 定制
  19. 渠道、数据、技术,谁才是网络信贷市场的决胜因素?
  20. 怎么恢复我在计算机里删掉的文档,如题,如何彻底删除电脑中的文件,使文件不能恢复?(我的方式是直接? 爱问知识人...

热门文章

  1. linux服务器p2v,使用 Linux dd 命令实现 P2V 或 V2V
  2. 项目七samba服务器,Centos 7 配置Samba服务器
  3. 和在线视频会议服务器,什么是视频会议服务器端和客户端?
  4. 中石油《计算机应用基础》,2017中国石油大学《计算机应用基础》第3阶段在线作业.doc...
  5. 华为交换机s2700怎么重置_华为交换机忘记console的密码,怎么恢复出厂设置
  6. mysql数据存储到指定位置_Mysql数据库表分区存储到指定磁盘路径
  7. android 多态如何组件化,Android组件化之子模块之间通信方案
  8. html统计表合并单元格的快捷键,word怎样设置合并单元格快捷键
  9. C/C++ 指针的深入理解
  10. 交换两个数组 差最小 java_如何交换两个等长整形数组使其数组和的差最小(C和java实现)...