轻量级日志采集系统Loki+grafana搭建

一.Loki介绍
整体架构

Loki的架构非常简单，使用了和prometheus一样的标签来作为索引，也就是说，你通过这些标签既可以查询日志的内容也可以查询到监控的数据，不但减少了两种查询之间的切换成本，也极大地降低了日志索引的存储。
Loki将使用与prometheus相同的服务发现和标签重新标记库,编写了pormtail, 在k8s中promtail以daemonset方式运行在每个节点中，通过kubernetes api等到日志的正确元数据，并将它们发送到Loki。

下面是日志的存储架构：

二.使用二进制包简单搭建
使用docker-composer可能比较方便，我们这里采用二进制包安装
1.安装loki主程序包
loki-linux-amd64.zip

查看配置文件
[root@centos7 Loki]# cat loki-config.yaml
auth_enabled: false

server:
http_listen_port: 3100

ingester:
lifecycler:
address: 127.0.0.1
ring:
kvstore:
store: inmemory
replication_factor: 1
final_sleep: 0s
chunk_idle_period: 5m
chunk_retain_period: 30s
max_transfer_retries: 0

schema_config:
configs:
- from: 2018-04-15
store: boltdb
object_store: filesystem
schema: v11
index:
prefix: index_
period: 168h

storage_config:
boltdb:
directory: /loki/index

filesystem:
directory: /loki/chunks

limits_config:
enforce_metric_name: false
reject_old_samples: true
reject_old_samples_max_age: 168h

chunk_store_config:
max_look_back_period: 0s

table_manager:
retention_deletes_enabled: false

指定配置文件，启动服务
nohup ./loki -config.file=loki-config.yaml &

2.采集promtail节点配置
这里我们使用的是采集小米数据库代理中间件gaea的日志为例，其他的日志只要写好节点采集路径及名称就可以了
下载二进制包promtail-linux-amd64.zip

查看节点采集配置文件

[root@db promtail]# cat promtail-config.yaml
server:
http_listen_port: 9080
grpc_listen_port: 0

positions:
filename: /tmp/positions.yaml

clients:

url: http://*******:31000/loki/api/v1/push

scrape_configs:

job_name: system

static_configs:
- targets:
  - localhost
    labels:
    job: 92-gaea
    path: /data/gaea/logs/gaea.*

启动采集服务
nohup ./promtail -config.file=promtail-config.yaml &

3.loki服务器端安装展示模版grafana
下载包直接yum安装即可，安装完启动服务
yum install -y grafana-7.0.5-1.x86_64.rpm

三.grafana展示查看数据
1.添加loki数据源

2.打开展示板

3.查看日志数据

四.查询基本语法
= 完全相同。
!= 不平等。
=~ 正则表达式匹配。
!~ 不要正则表达式匹配。

{job=“mysql”} |= “error”
{name=“kafka”} |~ “tsdb-ops.*io:2017”

参考链接：

https://blog.51cto.com/anfishr/2511063

轻量级日志采集系统Loki+grafana搭建相关推荐

轻量级日志系统Loki原理简介和使用
前言这篇文章应朋友的要求,让写一篇loki日志系统,咱定义不容辞一定要好好写开干! 现实中的需求公司的容器云运行的应用或某一个节点出现了问题,解决的思路问题首先被prometheus监控 1 ...
轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana)
轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana) Loki简介简介 Loki是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用 ...
轻量级日志系统 PLG（**Promtail + Loki + Grafana**）架构技术调研
开源的容器云日志方案 1.Promtail Promtail 是代理,负责收集日志并将其发送给loki.对标ELK中的Logstash. Promtail是一个日志收集的代理,它的主要工作模式是发现存 ...
Promtail + Loki + Grafana实现日志管理系统
参考文献https://blog.csdn.net/weixin_52270081/article/details/124801308 介绍日志监控告警系统,较为主流的是ELK(Elasticsea ...
运维监控系列（17）-Prometheus接入Loki日志采集系统及可视化使用详解
Loki GitHub地址官方文档地址简介对于生产环境以及一个有追求的运维人员来说,哪怕是毫秒级别的宕机也是不能容忍的.对基础设施及应用进行适当的日志记录和监控非常有助于解决问题,还可以帮助优化 ...
从ELK/EFK到PLG – 在EKS中实现基于Promtail + Loki + Grafana容器日志解决方案
ELK/EFK日志系统如果今天谈论到要部署一套日志系统,相信用户首先会想到的就是经典的ELK架构,或者现在被称为Elastic Stack.Elastic Stack架构为Elasticsearch ...
EKS日志收集方案-PLG(Promtail+Loki+Grafana)
组件概述(什么是PLG?) Promtail:日志收集代理,它通常被部署到需要监视应用程序的每台机器/容器上.Promtail主要是用来发现目标.将标签附加到日志流以及将日志推送到Loki.截止到目前 ...
kubernetes日志架构PLG(promtail+loki+grafana)
k8s集群loki日志采集架构 elk用起来是不是感觉很笨重,维护起来也很耗费精力,而且资源占用也比较高,那就来尝试另一套日志工具,之所以推荐她,是因为笔者越用越发现她的好 loki官网文档参考: h ...
再见笨重的ELK！这套轻量级日志收集方案要火！
之前一直使用的日志收集方案是ELK,动辄占用几个G的内存,有些配置不好的服务器有点顶不住!最近发现一套轻量级日志收集方案: Loki+Promtail+Grafana(简称LPG), 几百M内存就够了 ...

轻量级日志采集系统Loki+grafana搭建

轻量级日志采集系统Loki+grafana搭建

轻量级日志采集系统Loki+grafana搭建相关推荐

最新文章

热门文章