Logtail从入门到精通(二):开启日志采集之旅
摘要: 为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍。
Logtail相关概念
为了更好的了解日志采集,这里我们首先对日志采集中遇到的基本概念进行简要的介绍。
概念介绍
- 项目: 项目(Project)是日志服务中的资源管理单元,用于资源隔离和控制。您可以通过项目来管理某一个应用的所有日志及相关的日志源。它管理着用户的所有日志库(Logstore),采集日志的机器配置等信息,同时它也是用户访问日志服务资源的入口。
- 日志库: 日志库(Logstore)是日志服务中日志数据的采集、存储和查询单元。每个日志库隶属于一个项目,且每个项目可以创建多个日志库。
- Logtail客户端: Logtail是一款执行日志收集工作的Agent,一般安装在需要收集日志的服务器上,作为独立软件运行。
- 机器组: 一个机器组包含一或多台需要收集一类日志的机器。通过绑定一组Logtail配置到一个机器组,可以让日志服务根据同样的Logtail配置采集一个机器组内所有服务器上的日志。
- 采集配置: 是Logtail收集日志的策略集合,采集配置一般包括需要采集的数据源、解析方式、过滤方式等参数,所有采集配置均在控制台进行管理。
各概念间关系
- 日志库直接负责日志存储,所有Logtail采集的数据最终都会存储到日志库中。
- 日志库由项目进行管理,项目和日志库的关系类似于数据库和表之间的关系。
- 一个日志库中可包含多个不同的采集配置,日志库下的采集配置默认将数据采集到该日志库。
- 采集配置并不直接应用于Logtail客户端,而是应用于中间层的机器组,便于大规模集群和应用的灵活管理。
- 一个Logtail可属于多个机器组,一个机器组可包含多个Logtail,实现Logtail与机器组的解耦。
- 一个采集配置可应用到多个机器组,一个机器组可关联多个采集配置,实现机器组与采集配置的解耦。
安装配置流程
Logtail的安装配置流程相对比较简单,如果日志服务和ECS在同一账号下,则只需5个步骤即可实现采集。
- 日志服务已经和ECS打通,可自动获取ECS对应的owner信息,因此不需要设置aliuid信息。
安装Logtail
ECS安装
- 购买一台ECS
根据ECS所在区域选择Logtail安装脚本(参见Logtail安装指南)
- 例如华东1的经典网络,使用
wget http://logtail-release.oss-cn-hangzhou-internal.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou
- 例如华东1的经典网络,使用
- 使用
/etc/init.d/ilogtaild status
检查Logtail运行状态,如输出ilogtail is running
表示安装成功
自建主机安装
选择任意公网Logtail安装脚本(参见Logtail安装指南)
- 例如选择华东1公网安装,使用
wget http://logtail-release.oss-cn-hangzhou.aliyuncs.com/linux64/logtail.sh; chmod 755 logtail.sh; sh logtail.sh install cn_hangzhou_internet
- 例如选择华东1公网安装,使用
- 使用
/etc/init.d/ilogtaild status
检查Logtail运行状态,如输出ilogtail is running
表示安装成功 - 配置账号标识文件(参见非本人ECS/线下机器,配置完成后无需重启Logtail)
配置
创建项目和日志库
- 在阿里云官网产品中选择
日志服务
或直接点击进入日志服务控制台,若您当前没有开通,会提示您开通日志服务,点击开通
。 - 点击
创建Project
按钮,地域(Region)中选择Logtail安装时所选的地域,例如选择华东1(杭州)
。
- Project创建成功后会提示创建Logstore,点击
创建
;这里我们输入Logstore名称,其他参数无需修改,点击确认
。
创建采集配置
- Logstore创建完毕后,会提示进行数据接入。如下图所示,可通过三个入口创建采集配置:
- 在弹出的数据接入页面中,我们选择自定义数据中的
文本文件
接入。
- 在采集配置中我们选择
极简模式
,日志路径中的文件夹和文件名分别输入/var/log
和message
,点击下一步。
创建机器组并应用
- 配置页面点击下一步后,会提示您选择机器组,这里我们点击
创建机器组
。
- 机器组配置页面中选择
IP地址
类型的机器组,IP输入ECS的内网IP(Logtail获取的IP地址可通过cat /usr/local/ilogtail/app_info.json
查看)
- 保存机器组后,勾选该机器组并点击应用到机器组。后续设置无需关心,直接点击下一步。
查看日志
此时采集配置已经创建完毕,您可以尝试退出重新登录主机或输入命令echo "test message" >> /var/log/message
,这时本地/var/log/message
文件会有新的日志产生,Logtail就会采集到这些数据了。
点击日志库页面
的预览
或查询
链接,即可看到Logtail采集上来的日志了。
原文链接
干货好文,请关注扫描以下二维码:
Logtail从入门到精通(二):开启日志采集之旅相关推荐
- Logtail从入门到精通(四):正则表达式Java日志采集实战
摘要: 为简化日志接入门槛,我们提供了极简模式的日志解析方式(如[开启日志采集之旅]()中的介绍).为了更好的对日志进行分析,我们还提供了其他解析方式,例如:分隔符模式.完整正则模式.JSON模式等. ...
- Kali Linux 从入门到精通(二)-安装
Kali Linux 从入门到精通(二)-安装 Kail Linux 安装 持久加密USB安装-1 LUSK:Linux Unified Key Setup 磁盘分区加密规范 不依赖与操作系统的磁盘级 ...
- java从入门到精通二十四(三层架构完成增删改查)
java从入门到精通二十四(三层架构完成增删改查) 前言 环境准备 创建web项目结构 导入依赖和配置文件 创建层次模型 实现查询 实现添加 实现修改 完成删除 做一个用户登录验证 会话技术 cook ...
- java从入门到精通二十三(Servlet)
java从入门到精通二十三(Servlet) Servlet 说明 Servlet初步入门尝试 Servlet生命周期 Servlet方法说明和体系结构 方法说明 体系结构说明 一些优化封装 urlP ...
- Mybatis从入门到精通二(入门详解)
Mybatis从入门到精通二(想学Mybatis,看了这一篇你就不需要其他的了) 本课程分为两天第一天的请参考: https://blog.csdn.net/weixin_43564627/artic ...
- Logtail从入门到精通(三):机器分组配置
摘要: 基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高.使用更加便捷.耦合度更低的配置&机器管理方式:自定义标识机器分组.此种方式对于动态环境非常适用,尤其适用于弹性伸缩服 ...
- MyBatis从入门到精通(二):MyBatis XML方式的基本用法之Select
最近在读刘增辉老师所著的<MyBatis从入门到精通>一书,很有收获,于是将自己学习的过程以博客形式输出,如有错误,欢迎指正,如帮助到你,不胜荣幸! 1. 明确需求 书中提到的需求是一个基 ...
- Tensorflow系列 | Tensorflow从入门到精通(二):附代码实战
作者 | AI小昕 编辑 | 安可 [导读]:本文讲了Tensorflow从入门到精通.欢迎大家点击上方蓝字关注我们的公众号:深度学习与计算机视觉. Tensor介绍 Tensor(张量)是Tenso ...
- Redis从入门到精通(二)
八.三种特殊数据类型 8.1.geospatial 地理位置 Redis的Geo可以推算地理位置的信息 只有6个命令: geoadd:添加地理位置的坐标. geopos:获取地理位置的坐标. geod ...
最新文章
- Samtools安装与使用
- Tomcat:Error starting static Resources
- php中onmouseover报错,php中文网--JavaScript
- 团队作业7——第二次项目冲刺(Beta版本)
- 配置Syslog输出到远程日志服务器
- 关于无线网卡驱动安装正确,但灯不亮的问题
- 4.3.5 心跳和协调者的关系
- suger数据库使用1
- model.show_result()导致jupyter lab提示服务似乎挂掉,但会立刻重启
- 从零开始了解5G 纤亿通浅谈5G
- 白天 996, 我还能晚上669!
- Oracle安装和配置
- 微服务-分布式事务seata
- 一周市场摘抄20210118
- 18天精读掌握《费曼物理学讲义卷一》 第15天 2019/7/2
- TLE5012B_SPI通讯+零点矫正思路总结
- Spring循环依赖问题,Spring是如何解决循环依赖的?
- 决策树(信息熵、信息增溢、GINI)的计算
- Carthage使用
- 没有python基础直接学爬虫_只针对 Python 爬虫,该如何学习?
热门文章
- java 排列3_java中的三大排序算法
- c语言元素插入数组并排序,一数组按顺序序存放,插入一个数,按原来排序规律放在相应位置...
- c语言excel转pdf,基于C语言和Excel软件下光速测量仪测量玻璃折射率.pdf
- selenium python下载_使用Selenium、Chrome和Python下载PDF
- python 知乎 合并 pdf_一键下载:将知乎专栏导出成电子书
- mysql微服务查询问题_【mysql】微服务架构下跨服务查询的聚合有什么好的方案?...
- 甘蔗是怎么变成白糖的?
- 靠一个不存在的基因,写了学位论文顺利毕业的上交大硕士,被学校撤销了学位!...
- 线性代数拾遗(五):矩阵变换的应用
- 如何假装自己读懂了《时间简史》