Loki

什么是Loki

Loki是受Prometheus启发的水平可扩展，高度可用的多租户日志聚合系统。他被设计为非常经济高效且易于操作。它不索引日志内容，而是为每个日志流设置一组标签

Loki文档网址：https://grafana.com/docs/loki/latest/

下载网址：https://github.com/grafana/loki/releases

安装loki

获取软件包
解压软件包

unzip loki-linux-amd64.zip

[root@localhost loki]# ll
-rwxr-xr-x 1 root root 88166400 May 20  2020 loki-linux-amd64
-rw-r--r-- 1 root root 26432293 Feb 22 11:26 loki-linux-amd64.zip

编写配置文件

vim loki.yaml
---
auth_enabled: falseserver:http_listen_port: 3100ingester:lifecycler:address: 192.168.0.181ring:kvstore:store: inmemoryreplication_factor: 1final_sleep: 0schunk_idle_period: 5mchunk_retain_period: 30smax_transfer_retries: 0schema_config:configs:- from: 2020-07-01store: boltdbobject_store: filesystemschema: v11index:prefix: index_period: 168hstorage_config:boltdb:directory: /loki/indexfilesystem:directory: /loki/chunkslimits_config:enforce_metric_name: falsereject_old_samples: truereject_old_samples_max_age: 168hingestion_rate_mb: 15chunk_store_config:max_look_back_period: 0stable_manager:retention_deletes_enabled: falseretention_period: 0s

启动loki

[root@localhost loki]# nohup ./loki-linux-amd64 -config.file=./loki.yaml >./loki.log 2>&1 &
[1] 108017
[root@localhost loki]# ps -fe|grep loki
root     108017  79258  9 16:00 pts/0    00:00:00 ./loki-linux-amd64 -config.file=./loki.yaml

安装promtail

promtail是负责日志收集，类似elk中的logstash、filebeat等，如果收集docker容器日志的话可以用docker插件来收集容器日志

获取软件包并解压
配置pormtail配置文件

vim promtail.yaml
---
server:http_listen_port: 9080grpc_listen_port: 0positions:filename: ./positions.yamlclients:- url: http://192.168.0.181:3100/loki/api/v1/pushscrape_configs:- job_name: zzzstatic_configs:- labels:app: zzzhost: 192.168.0.181env: prod__path__: /var/log/messages

启动promtail

nohup ./promtail-linux-amd64 -config.file=./promtail.yaml > ./promtail.log 2>&1 &
[root@localhost loki]# ps -fe|grep promtail
root     113788  79258  1 17:00 pts/0    00:00:00 ./promtail-linux-amd64 -config.file=./promtail.yaml

配置grafana展示日志

收集docker容器日志

确认docker版本

[root@localhost local]# docker --version
Docker version 18.09.7, build 2d0083d

需要更改docker的log-driver为loki 13版本的会更改失败

安装插件

docker plugin install grafana/loki-docker-driver:latest --alias loki --grant-all-permissions
[root@localhost local]# docker plugin list
ID                  NAME                DESCRIPTION           ENABLED
5df430512cf6        loki:latest         Loki Logging Driver   true

启动容器测试

docker run -itd -p 80:80 --log-driver=loki --log-opt loki-url="http://192.168.0.181:3100/loki/api/v1/push" --log-opt max-size=50m --log-opt max-file=10 nginx

通过curl命令访问nginx，然后再grafana中查看

Loki搭建日志收集系统相关推荐

docker搭建grafana+loki+promtail日志收集系统
文章目录 docker搭建grafana+loki+promtail日志收集系统 1.拉取镜像 2.loki搭建 1)新建配置文件 2)启动容器 3.promtail搭建 1)新建配置文件 2)启动容 ...
深入浅出ELK日志收集系统搭建
先看一下目录图背景试想这么一种场景:Nginx负载了2个Tomcat,那么日志查看就很麻烦了,每次查看日志都要登录2台服务器,挨个搜索,2台还好,如果5台呢?10台呢?那查看日志就可费劲了,所以需 ...
使用ELK搭建日志收集和分析系统
搭建日志收集和分析系统需要以下步骤: 安装Java运行环境 ELK是基于Java开发的,因此需要在服务器上安装Java运行环境安装Elasticsearch Elasticsearch是ELK的核心 ...
借鉴开源框架自研日志收集系统
踏浪无痕岂安科技高级架构师十余年数据研发经验,擅长数据处理领域工作,如爬虫.搜索引擎.大数据应用高并发等.担任过架构师,研发经理等岗位.曾主导开发过大型爬虫,搜索引擎及大数据广告DMP系统目前负责 ...
你居然还去服务器上捞日志，搭个日志收集系统难道不香么！
摘要 ELK日志收集系统进阶使用,本文主要讲解如何打造一个线上环境真实可用的日志收集系统.有了它,你就可以和去服务器上捞日志说再见了! ELK环境安装 ELK是指Elasticsearch.Kiban ...
java 如何去掉http debug日志_你居然还去服务器上捞日志，搭个日志收集系统难道不香吗？...
作者:MacroZheng 链接:https://juejin.im/post/5eef217d51882565d74fb4eb 来源:掘金 SpringBoot实战电商项目mall(35k+star ...
基于Flume的美团日志收集系统(一)架构和设计
背景美团的日志收集系统负责美团的所有业务日志的收集,并分别给Hadoop平台提供离线数据和Storm平台提供实时数据流.美团的日志收集系统基于Flume设计和搭建而成. <基于Flume的美团 ...
基于Flume的美团日志收集系统-----架构和设计
问题导读: 1.Flume-NG与Scribe对比,Flume-NG的优势在什么地方? 2.架构设计考虑需要考虑什么问题? 3.Agent死机该如何解决? 4.Collector死机是否会有影响? 5 ...
实战：kafka实现日志收集系统
实战:kafka实现日志收集系统一.Kafka案例需求概述 1.1 需要收集的信息: 用户唯一标识用户操作时间具体用户操作 1.2 工作流程: 用户的操作会由Web服务器进行响应. 同时用户的操 ...
java 如何去掉http debug日志_你居然还去服务器上捞日志，搭个日志收集系统难道不香么！...
作者:MacroZheng 链接:https://juejin.im/post/5eef217d51882565d74fb4eb 摘要 ELK日志收集系统进阶使用,本文主要讲解如何打造一个线上环境真实 ...

Loki搭建日志收集系统

Loki

什么是Loki

安装loki

安装promtail

配置grafana展示日志

收集docker容器日志

Loki搭建日志收集系统相关推荐

最新文章

热门文章