简介:

Loki的第一个稳定版本于2019年11月19日发布,是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。Loki 是专门用于聚集日志数据,重点是高可用性和可伸缩性。与竞争对手不同的是,它确实易于安装且资源效率极高。

特点:

优点:

  • 1、Loki 的架构非常简单,使用了和 prometheus 一样的标签来作为索引,通过这些标签既可以查询日志的内容也可以查询到监控的数据,不但减少了两种查询之间的切换成本,也极大地降低了日志索引的存储。

  • 2、与 ELK 相比,消耗的成本更低,具有成本效益。

  • 3、在日志的收集以及可视化上可以连用 grafana,实现在日志上的筛选以及查看上下行的功能。

缺点:

  • 1、技术比较新颖,相对应的论坛不是非常活跃。

  • 2、功能单一,只针对日志的查看,筛选有好的表现,对于数据的处理以及清洗没有 ELK 强大,同时与 ELK 相比,对于后期,ELK 可以连用各种技术进行日志的大数据处理,但是 loki 不行。

组成

1.loki是主服务器,负责存储日志和处理查询。
2.promtail是代理,负责收集日志并将其发送给 loki 。
3.Grafana用于 UI 展示。

本次安装使用 docker 部署

1.0 安装 docker-compose

curl -L "https://github.com/docker/compose/releases/download/1.28.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
chmod +x /usr/local/bin/docker-compose

2.0 下载 yaml 文件

wget https://raw.githubusercontent.com/grafana/loki/v2.2.0/production/docker-compose.yaml -O docker-compose.yaml

version: "3"networks:loki:services:loki:image: grafana/loki:2.0.0ports:- "3100:3100"command: -config.file=/etc/loki/local-config.yamlnetworks:- lokipromtail:image: grafana/promtail:2.0.0volumes:- /var/log:/var/logcommand: -config.file=/etc/promtail/config.ymlnetworks:- lokigrafana:image: grafana/grafana:latestports:- "3000:3000"networks:- loki

3.0 启动服务

docker-compose -f docker-compose.yaml up

4.0 检查服务

5.0 配置服务

http://192.168.106.202:3000/ #默认 granfna 密码 admin/admin

5.1 配置数据源

配置 ip 和默认数据源,配置完成点击测试 / 保存

5.2 配置数据源

explore 查询样例

5.3 输出匹配日志信息

#至此一次样例日志查询完成

6.0promtail 配置详解

promtail容器为日志采集容器,配置文件在promtail容器/etc/promtail/config.yml,将该容器部署在需要采集日志的服务器上就能正常采集日志传回loki服务收集整理

root@2a0cc144dd58:/#  cat  /etc/promtail/config.yml
server:http_listen_port: 9080grpc_listen_port: 0positions:filename: /tmp/positions.yamlclients:- url: http://loki:3100/loki/api/v1/push     #这里配置的地址为loki服务器日志收集的信息scrape_configs:
- job_name: systemstatic_configs:- targets:- localhostlabels:job: varlogs                       #这里为刚才选择job下子标签__path__: /var/log/*log            #将采集的日志放在/var/log/*log下自动发现

7.0 增加一台服务器日志采集

7.1 编写 promtail 的配置文件 config.yml

mkdir /root/promtail &&cd /root/promtail

[root@node2 promtail]# cat config.yml
server:http_listen_port: 9080grpc_listen_port: 0positions:filename: /tmp/positions.yamlclients:- url: http://192.168.106.202:3100/loki/api/v1/push     #这里配置的地址为loki服务器日志收集的信息scrape_configs:
- job_name: mysqlstatic_configs:- targets:- localhostlabels:job: mysql                         #这里为刚才选择job下子标签__path__: /var/log/*log            #将采集的日志放在/var/log/*log下自动发现

7…2 编写 docker-compose.yaml 配置文件

[root@node2 promtail]# cat  docker-compose.yaml
version: "v1"services:promtail:image: grafana/promtail:2.0.0               #拉去镜像container_name: promtail-node              #镜像名称volumes:- /root/promtail/config.yml:/etc/promtail/config.yml    #挂载目录- /var/log:/var/log           network_mode: 'host'

7.3 启动

docker-compose up -d

8.0 去 loki 上查看检索

可以根据数据查询到相应日志信息


作者:Linux用户

来源链接:

https://blog.csdn.net/weixin_43546282/article/details/115325468

SpringBoot日志分析新神器,换掉笨重的ELK相关推荐

  1. SPINE:高拓展性、用户友好的自动化日志解析新神器

    编者按:在计算机系统与软件的实践和研究中,可靠性是至关重要且经久不衰的课题.如何自动化地分析日志所记录的系统状态并让数据"说话" ,受到了广泛研究.日志解析是自动化日志分析中的关键 ...

  2. 大数据主题分享第三期 | 基于ELK的亿级实时日志分析平台实践

    猫友会希望建立更多高质量垂直细分社群,本次是"大数据学习交流付费群"的第三期分享. "大数据学习交流付费群"由猫友会联合,斗鱼数据平台总监吴瑞诚,卷皮BI技术总 ...

  3. ELK 日志分析系统和部署

    目录 前言 一.日志分析 1.1  我们需要收集哪些日志 1.2  日志收集后,如何展示(可视化) 1.3   日志收集展示出来后,怎么使用 1.4  我们要怎么收集日志 二.ELK 日志分析系统简介 ...

  4. 运维必备——ELK日志分析系统

    目录 一.ELK日志分析系统概述 (1)传统日志服务器的优点与缺点和为什么要使用ELK日志分析系统 (2)ELK日志分析系统日志的分类 (3)ELK日志分析系统的分类 --Elasticsearch: ...

  5. qt能使用logback_使用ELK系统分析SpringBoot日志

    ELK:(ELK 由 ElasticSearch . Logstash 和 Kiabana 三个开源工具组成),Elasticsearch用于存储日志信息,Logstash用于收集日志,Kibana用 ...

  6. ELK 企业级日志分析系统

    文章目录 一. ELK日志分析系统简介 二. 使用ELK的原因 三. 完整日志系统基本特征 四. ELK的工作原理 五.ELK日志分析系统集群部署 5.1 ELK Elasticsearch 集群部署 ...

  7. 日志分析工具ELK(一)

    一.ELK介绍 1.1 elasticsearch 1.1.1 elasticsearch介绍 ElasticSearch是一个基于Lucene的搜索服务器.它提供了一个分布式多用户能力的全文搜索引擎 ...

  8. ELK 日志分析系统的部署

    文章目录 一.ELK前言 1.1 需要收集的日志 1.2 日志收集后,如何可视化 1.3 日志收集可视化后,怎么使用 1.4 要怎么收集日志 二.ELK简介 2.1 ElasticSearch介绍 2 ...

  9. ELK日志分析系统搭建以及springboot日志发送到ELK中

    前言 安装之前服务器必须装了Java环境,我们这里安装的是7.7.0版本,而且7.7.0版本还必须要求jdk11以上.,最好跟我安装的路径保持一致/usr/local/elk,千万不要在root 安装 ...

最新文章

  1. springboot项目自定义类在配置文件中的提示
  2. Hadoop之Join、计数器、数据清洗概述
  3. mac VMware Fusion 虚拟机键盘可以使用,鼠标无法使用排查思路及解决方法
  4. fatal error: opencv2/core/cvdef.h: 沒有此一檔案或目錄
  5. 生成颜色代码的 Java程序
  6. 【转】ARM汇编伪指令介绍
  7. 再说“两本交换机图书内容完全不一样”
  8. 根据ip高精度查地址网址
  9. 宇视网络摄像机存储功能配置指导
  10. tp6 使用workerman
  11. WinCC7.0如何通过授权管理器用U盘进行导入和导出授权?
  12. DfE给学生提供的笔记本电脑感染了恶意软件
  13. js:使用angular的http获取json数据
  14. 我要砍价-自动砍价-思路
  15. java思维导图源代码_如何使用思维导图解读java开源项目
  16. flash初学(转)
  17. 三菱PLC FX5U 伺服机器人程序 包括三菱FX5U程序,威纶通触摸屏程序
  18. 装修甲醛怎么办?自制小程序监控的甲醛检测仪
  19. ArXiv简介以及论文提交
  20. 民族美术类毕业论文文献有哪些?

热门文章

  1. 陕西农民挖地基,竟然挖出2700年前的青铜家谱!专家:这是中国第一盘
  2. 放置奇兵服务器维护,放置奇兵瓦妹最佳辅助,无法匹配最佳网关服务器
  3. Ubuntu20.04 LTS 安装Eclipse2021-03
  4. word怎么设置页码为第几页共几页
  5. 计算机模拟人体内生理情况,计算机模拟研究钚Ⅳ的人体毒性-环境化学.PDF
  6. java恒美服饰原材料采购预约配送系统计算机毕业设计MyBatis+系统+LW文档+源码+调试部署
  7. C# 通过iTextSharp实现pdf文件盖章(通过在内容中插入盖章图片的形式)
  8. 数学建模各类算法学习笔记(附matlab代码)
  9. 开园一个月,热搜近10次!明星网红纷纷打卡,北京环球影城爆火背后的原因是?
  10. SAP VF11取消开票:BAPI_BILLINGDOC_CANCEL1