轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana)
轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana)
Loki简介
简介
Loki是 Grafana Labs 团队最新的开源项目,是一个水平可扩展,高可用性,多租户的日志聚合系统。Loki 是专门用于聚集日志数据,重点是高可用性和可伸缩性。与竞争对手不同的是,它确实易于安装且资源效率极高。
特点
优点:
- 不对日志进行全文索引(vs ELK技)。通过存储压缩非结构化日志和仅索引元数据,Loki 操作起来会更简单,更省成本。
- 通过使用与 Prometheus 相同的标签记录流对日志进行索引和分组,这使得日志的扩展和操作效率更高。
- 特别适合主流的例如储存 Kubernetes Pod 日志; 诸如 Pod 标签之类的元数据会被自动删除和编入索引。
- 受 Grafana 原生支持。
缺点:
功能单一,只针对日志的查看,筛选有好的表现,对于数据的处理以及清洗没有ELK强大,同时与ELK相比,对于后期,ELK可以连用各种技术进行日志的大数据处理,但是loki不行。
组件介绍
Loki 由以下3个部分组成:
loki是主服务器,负责存储日志和处理查询。
promtail是代理,负责收集日志并将其发送给 loki 。
Grafana用于 UI 展示。
安装部署
# 创建loki目录
[root@wangting ~]# mkdir loki
[root@wangting ~]# cd loki/
[root@wangting loki]# ll
total 0
# 下载docker-compose
[root@wangting loki]# curl -L "https://github.com/docker/compose/releases/download/1.28.3/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose% Total % Received % Xferd Average Speed Time Time Time CurrentDload Upload Total Spent Left Speed
100 633 100 633 0 0 1025 0 --:--:-- --:--:-- --:--:-- 1024
100 11.6M 100 11.6M 0 0 2425k 0 0:00:04 0:00:04 --:--:-- 3405k
[root@wangting loki]# ll /usr/local/bin/docker-compose
-rw-r--r-- 1 root root 12206944 May 20 14:22 /usr/local/bin/docker-compose
# 增加docker-compose执行权限
[root@wangting loki]# chmod +x /usr/local/bin/docker-compose
# 下载loki项目部署yaml
[root@wangting loki]# wget https://raw.githubusercontent.com/grafana/loki/v2.2.0/production/docker-compose.yaml -O docker-compose.yaml
--2021-05-20 14:22:49-- https://raw.githubusercontent.com/grafana/loki/v2.2.0/production/docker-compose.yaml
Resolving raw.githubusercontent.com (raw.githubusercontent.com)... 185.199.111.133, 185.199.108.133, 185.199.110.133, ...
Connecting to raw.githubusercontent.com (raw.githubusercontent.com)|185.199.111.133|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 461 [text/plain]
Saving to: ‘docker-compose.yaml’
2021-05-20 14:22:49 (41.9 MB/s) - ‘docker-compose.yaml’ saved [461/461]# 下载不了也可以直接将下面内容复制
[root@wangting loki]# cat docker-compose.yaml
version: "3"networks:loki:services:loki:image: grafana/loki:2.0.0ports:- "3100:3100"command: -config.file=/etc/loki/local-config.yamlnetworks:- lokipromtail:image: grafana/promtail:2.0.0volumes:- /var/log:/var/logcommand: -config.file=/etc/promtail/config.ymlnetworks:- lokigrafana:image: grafana/grafana:latestports:- "3000:3000"networks:- loki# 查看3000和3100端口是否被占用
[root@wangting loki]# netstat -tnlpu | grep -E "3000|3100"
[root@wangting loki]# # 运行服务 -f为指定yaml文件 up为启动服务 -d为后台运行
[root@wangting loki]# docker-compose -f docker-compose.yaml up -d
Building with native build. Learn about native build in Compose here: https://docs.docker.com/go/compose-native-build/
Starting loki_loki_1 ... done
Starting loki_grafana_1 ... done
Starting loki_promtail_1 ... done
[root@wangting loki]# # 查看运行情况
[root@wangting loki]# netstat -tnlpu | grep -E "3000|3100"
tcp6 0 0 :::3000 :::* LISTEN 1005970/docker-prox
tcp6 0 0 :::3100 :::* LISTEN 1005959/docker-prox
[root@wangting loki]# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
371166e5d10a grafana/grafana:latest "/run.sh" 4 minutes ago Up About a minute 0.0.0.0:3000->3000/tcp loki_grafana_1
ac8fc3a8df19 grafana/promtail:2.0.0 "/usr/bin/promtail -…" 4 minutes ago Up About a minute loki_promtail_1
fbdfa0a2ee12 grafana/loki:2.0.0 "/usr/bin/loki -conf…" 4 minutes ago Up About a minute 0.0.0.0:3100->3100/tcp loki_loki_1
[root@wangting loki]#
# 3000 grafana页面展示端口
# 3100 loki存储查询端口
访问界面
http://192.168.158.124:3000/ # 换成自己部署的ip + 3000 端口
初次登陆 默认用户名密码: admin / admin 首次会提示更改安全的密码,按照提示更改
配置dashboard界面的数据源 data - data sources
点击Add data source ,找到Loki,点击Select添加
打开新加的Loki sources配置,按照图中配置即可,点击Save&Test
根据之前配置文件定义,搜集的日志为/var/log目录,我这里是新机器,近期可能没有error日志内容,人工生产一个error信息,这一步非必须,如果是常用的机器,error输出应该会有
[root@wangting log]# pwd
/var/log
[root@wangting log]# echo "error May-20 15:21:14 === Started libdnf-0.39.1 ===" >> hawkey.log
配置规则点击查询日志
成功捕捉到error信息。
轻量级日志分析PLG平台Loki安装部署及使用(promtail+loki+Grafana)相关推荐
- awstats linux日志分析,Linux环境下安装部署AWStats日志分析系统实例
AWStats是使用Perl语言开发的一款开放性日志分析系统,可分析Apache网站服务器的访问日志,还可以用来分析Samba.Vsftpd.IIS等日志信息. 此文章主要讲解如何在linux系统下安 ...
- 开源实时日志分析ELK平台部署
开源实时日志分析ELK平台部署 日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷 ...
- 2022几款开源的态势感知、攻击监控、日志分析等平台调研
目录 态势感知.攻击监控.日志分析等平台调研 一. OSSIM开源安全信息管理系统 功能展示 主界面 1. DASHBOARDS模块 a. OverView b.Deployment status:资 ...
- 日志系统Loki安装部署
一.简 介 Loki是受Prometheus启发由Grafana Labs团队开源的水平可扩展,高度可用的多租户日志聚合系统. 开发语言: Google Go.它的设计具有很高的成本效益,并且易于操作 ...
- 日志分析ELK平台部署第一节
很多培训机构喜欢把一些简单的开源软件弄一个很大的噱头,比如今天跟大家分享的ELK部署,就是一个简单的开源软件,跟zabbix一样都是开源,只是功能不同,哦对了,他们把zabbix叫企业级项目实战之50 ...
- 轻量级日志系统 PLG(**Promtail + Loki + Grafana**)架构技术调研
开源的容器云日志方案 1.Promtail Promtail 是代理,负责收集日志并将其发送给loki.对标ELK中的Logstash. Promtail是一个日志收集的代理,它的主要工作模式是发现存 ...
- 简要分析ZooKeeper基本原理及安装部署
一.ZooKeeper 基本概念 1.ZooKeeper 是什么? Zookeeper官网地址: zookeeper.apache.org/ Zookeeper官网文档地址:zookeeper.apa ...
- ELK日志分析系统之ELK搭建部署
文章目录 配置ELK日志分析系统 1.配置elasticsearch环境 2.部署elasticsearch软件 2.1 安装Elasticsearch软件 2.2 加载系统服务 2.3 修改elas ...
- web 日志分析工具 awstats 简单安装
awstats安装使用 awstats是一个开源的日志分析工具,用perl编写.感觉还不错,把安装记录写下,也许有人用的到. 可以分析大部分标准日志数据,如apache的,nginx的都可以 首先下载 ...
最新文章
- POJ 3461 还是两种方法
- ubuntu 解压rar报错
- joda jar日期处理类的学习
- php字符串search,js获取location.search每个查询字符串的值
- VHDL中的左移函数
- 二元隐函数求二阶偏导_在线计算专题(03):具体、抽象函数的导数、微分与方向导数的计算...
- yum php fpm5.6,CentOS 7 yum 安装php5.6
- 公司网页添加旺旺,状态不正确
- C语言2020年作业,2020年哈尔滨工业大学C语言程序设计精髓 第七周编程题作业
- oracle mysql分页语句怎么写,sqlserver ,mysql,oracle 语句实现分页
- 骁龙855加持!疑似红米Pro 2曝光:旗下首款升降摄像头机型?
- 4位先行进位电路 logisim_数字电路基础之逻辑电路
- [转载] python 字符串(string)
- 【往届期末试卷】2018届数据库原理与应用
- 扫码点餐有哪些优势?
- 最大信息熵增益_信息熵(Entropy)、信息增益(Information Gain)
- CSU2020:Artwork(并查集)
- UOS V20 nmcli命令配置ip静态地址
- Adams导入SW模型不显示
- 网站服务器费用是什么,建网站费用都包含什么