SpringBoot日志分析新神器,换掉笨重的ELK
简介:
“
Loki的第一个稳定版本于2019年11月19日发布,是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。Loki 是专门用于聚集日志数据,重点是高可用性和可伸缩性。与竞争对手不同的是,它确实易于安装且资源效率极高。
”
特点:
优点:
1、Loki 的架构非常简单,使用了和 prometheus 一样的标签来作为索引,通过这些标签既可以查询日志的内容也可以查询到监控的数据,不但减少了两种查询之间的切换成本,也极大地降低了日志索引的存储。
2、与 ELK 相比,消耗的成本更低,具有成本效益。
3、在日志的收集以及可视化上可以连用 grafana,实现在日志上的筛选以及查看上下行的功能。
缺点:
1、技术比较新颖,相对应的论坛不是非常活跃。
2、功能单一,只针对日志的查看,筛选有好的表现,对于数据的处理以及清洗没有 ELK 强大,同时与 ELK 相比,对于后期,ELK 可以连用各种技术进行日志的大数据处理,但是 loki 不行。
组成
1.loki是主服务器,负责存储日志和处理查询。
2.promtail是代理,负责收集日志并将其发送给 loki 。
3.Grafana用于 UI 展示。
本次安装使用 docker 部署
1.0 安装 docker-compose
curl -L "https://github.com/docker/compose/releases/download/1.28.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose
2.0 下载 yaml 文件
wget https://raw.githubusercontent.com/grafana/loki/v2.2.0/production/docker-compose.yaml -O docker-compose.yaml
version: "3"networks:loki:services:loki:image: grafana/loki:2.0.0ports:- "3100:3100"command: -config.file=/etc/loki/local-config.yamlnetworks:- lokipromtail:image: grafana/promtail:2.0.0volumes:- /var/log:/var/logcommand: -config.file=/etc/promtail/config.ymlnetworks:- lokigrafana:image: grafana/grafana:latestports:- "3000:3000"networks:- loki
3.0 启动服务
docker-compose -f docker-compose.yaml up
4.0 检查服务
5.0 配置服务
http://192.168.106.202:3000/ #默认 granfna 密码 admin/admin
5.1 配置数据源
配置 ip 和默认数据源,配置完成点击测试 / 保存
5.2 配置数据源
explore 查询样例
5.3 输出匹配日志信息
#至此一次样例日志查询完成
6.0promtail 配置详解
promtail容器为日志采集容器,配置文件在promtail容器/etc/promtail/config.yml,将该容器部署在需要采集日志的服务器上就能正常采集日志传回loki服务收集整理
root@2a0cc144dd58:/# cat /etc/promtail/config.yml
server:http_listen_port: 9080grpc_listen_port: 0positions:filename: /tmp/positions.yamlclients:- url: http://loki:3100/loki/api/v1/push #这里配置的地址为loki服务器日志收集的信息scrape_configs:
- job_name: systemstatic_configs:- targets:- localhostlabels:job: varlogs #这里为刚才选择job下子标签__path__: /var/log/*log #将采集的日志放在/var/log/*log下自动发现
7.0 增加一台服务器日志采集
7.1 编写 promtail 的配置文件 config.yml
mkdir /root/promtail &&cd /root/promtail
[root@node2 promtail]# cat config.yml
server:http_listen_port: 9080grpc_listen_port: 0positions:filename: /tmp/positions.yamlclients:- url: http://192.168.106.202:3100/loki/api/v1/push #这里配置的地址为loki服务器日志收集的信息scrape_configs:
- job_name: mysqlstatic_configs:- targets:- localhostlabels:job: mysql #这里为刚才选择job下子标签__path__: /var/log/*log #将采集的日志放在/var/log/*log下自动发现
7…2 编写 docker-compose.yaml 配置文件
[root@node2 promtail]# cat docker-compose.yaml
version: "v1"services:promtail:image: grafana/promtail:2.0.0 #拉去镜像container_name: promtail-node #镜像名称volumes:- /root/promtail/config.yml:/etc/promtail/config.yml #挂载目录- /var/log:/var/log network_mode: 'host'
7.3 启动
docker-compose up -d
8.0 去 loki 上查看检索
可以根据数据查询到相应日志信息
作者:Linux用户
来源链接:
https://blog.csdn.net/weixin_43546282/article/details/115325468
SpringBoot日志分析新神器,换掉笨重的ELK相关推荐
- SPINE:高拓展性、用户友好的自动化日志解析新神器
编者按:在计算机系统与软件的实践和研究中,可靠性是至关重要且经久不衰的课题.如何自动化地分析日志所记录的系统状态并让数据"说话" ,受到了广泛研究.日志解析是自动化日志分析中的关键 ...
- 大数据主题分享第三期 | 基于ELK的亿级实时日志分析平台实践
猫友会希望建立更多高质量垂直细分社群,本次是"大数据学习交流付费群"的第三期分享. "大数据学习交流付费群"由猫友会联合,斗鱼数据平台总监吴瑞诚,卷皮BI技术总 ...
- ELK 日志分析系统和部署
目录 前言 一.日志分析 1.1 我们需要收集哪些日志 1.2 日志收集后,如何展示(可视化) 1.3 日志收集展示出来后,怎么使用 1.4 我们要怎么收集日志 二.ELK 日志分析系统简介 ...
- 运维必备——ELK日志分析系统
目录 一.ELK日志分析系统概述 (1)传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统 (2)ELK日志分析系统日志的分类 (3)ELK日志分析系统的分类 --Elasticsearch: ...
- qt能使用logback_使用ELK系统分析SpringBoot日志
ELK:(ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成),Elasticsearch用于存储日志信息,Logstash用于收集日志,Kibana用 ...
- ELK 企业级日志分析系统
文章目录 一. ELK日志分析系统简介 二. 使用ELK的原因 三. 完整日志系统基本特征 四. ELK的工作原理 五.ELK日志分析系统集群部署 5.1 ELK Elasticsearch 集群部署 ...
- 日志分析工具ELK(一)
一.ELK介绍 1.1 elasticsearch 1.1.1 elasticsearch介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎 ...
- ELK 日志分析系统的部署
文章目录 一.ELK前言 1.1 需要收集的日志 1.2 日志收集后,如何可视化 1.3 日志收集可视化后,怎么使用 1.4 要怎么收集日志 二.ELK简介 2.1 ElasticSearch介绍 2 ...
- ELK日志分析系统搭建以及springboot日志发送到ELK中
前言 安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...
最新文章
- springboot项目自定义类在配置文件中的提示
- Hadoop之Join、计数器、数据清洗概述
- mac VMware Fusion 虚拟机键盘可以使用,鼠标无法使用排查思路及解决方法
- fatal error: opencv2/core/cvdef.h: 沒有此一檔案或目錄
- 生成颜色代码的 Java程序
- 【转】ARM汇编伪指令介绍
- 再说“两本交换机图书内容完全不一样”
- 根据ip高精度查地址网址
- 宇视网络摄像机存储功能配置指导
- tp6 使用workerman
- WinCC7.0如何通过授权管理器用U盘进行导入和导出授权?
- DfE给学生提供的笔记本电脑感染了恶意软件
- js:使用angular的http获取json数据
- 我要砍价-自动砍价-思路
- java思维导图源代码_如何使用思维导图解读java开源项目
- flash初学(转)
- 三菱PLC FX5U 伺服机器人程序 包括三菱FX5U程序,威纶通触摸屏程序
- 装修甲醛怎么办?自制小程序监控的甲醛检测仪
- ArXiv简介以及论文提交
- 民族美术类毕业论文文献有哪些?
热门文章
- 陕西农民挖地基,竟然挖出2700年前的青铜家谱!专家:这是中国第一盘
- 放置奇兵服务器维护,放置奇兵瓦妹最佳辅助,无法匹配最佳网关服务器
- Ubuntu20.04 LTS 安装Eclipse2021-03
- word怎么设置页码为第几页共几页
- 计算机模拟人体内生理情况,计算机模拟研究钚Ⅳ的人体毒性-环境化学.PDF
- java恒美服饰原材料采购预约配送系统计算机毕业设计MyBatis+系统+LW文档+源码+调试部署
- C# 通过iTextSharp实现pdf文件盖章(通过在内容中插入盖章图片的形式)
- 数学建模各类算法学习笔记(附matlab代码)
- 开园一个月,热搜近10次!明星网红纷纷打卡,北京环球影城爆火背后的原因是?
- SAP VF11取消开票:BAPI_BILLINGDOC_CANCEL1