记录一次日志采集工具fluentd踩坑

先展示下配置信息，通过http协议将数据传入fluentd，然后match根据后面的tag： debug.** 进行匹配，最后将数据存入path中。

<source>@type http@id input_httpport 8888
</source>
<match debug.**>@type filepath /var/log/fluent/test
</match>

在运行td-agent时，遇到了一个异常

按报错提示输入命令systemctl status td-agent.service查看一下服务状态

并没有发现什么有用的提示信息，再执行一下journalctl -xe，

发现也找不出什么有价值的信息，那只能看看td-agent.log有没有打印什么信息，执行一下cat /var/log/td-agent/td-agent.log，

日志的第一行显示解析配置文件成功，说明配置项是没有问题的。再看看最后一行，嗯？什么情况？

2022-02-22 03:54:31 -0500 [error]: config error file="/etc/td-agent/td-agent.conf" error_class=Fluent::ConfigError error="out_file: `/var/log/fluent/test.20220222_**.log` is not writable"

它竟然说这个日志文件不可写？

并且可以看到这个文件夹都还未创建出来，这不会是用户权限的问题？可我在虚拟机用的是root权限啊？难道td-agent在安装时会自动创建一个用户？我们去看看，执行cat /etc/passwd

/etc/passwd 文件存放的是用户信息.由六个分号组成的7个信息,分别是:
用户名（magesh）：已创建用户的用户名，字符长度 1 个到 12 个字符。
密码（x）：代表加密密码保存在 `/etc/shadow 文件中。
用户 ID（506）：代表用户的 ID 号，每个用户都要有一个唯一的 ID 。UID 号为 0 的是为 root 用户保留的，UID 号 1 到 99 是为系统用户保留的，UID 号 100-999 是为系统账户和群组保留的。
群组 ID （507）：代表群组的 ID 号，每个群组都要有一个唯一的 GID ，保存在 /etc/group文件中。
用户信息（2g Admin - Magesh M）：代表描述字段，可以用来描述用户的信息。
家目录（/home/mageshm）：代表用户的家目录。
Shell（/bin/bash）：代表用户使用的 shell 类型。

果然是这样，td-agent在运行时会使用td-agent这个用户去创建文件，但我们并未给td-agent去开放权限，所以执行以下命令

cd /var/log
mkdir fluent
chown td-agent:td-agent /var/log/fluent

再次运行

systemctl start td-agent.service
systemctl status td-agent.service

发现已经正常运行起来了，并且文件夹也创建好了

接着执行下curl -X POST -d 'json={"json":"message"}' http://localhost:8888/debug.test，然后执行下图的命令

发现数据已经被fluentd解析并且输出在配置的目标路径下了。

说说最近研究fluentd的感慨吧，国内用户并不多，一般的报错在csdn上也是搜不到的，必须看报错提示，如果没有的话，就只能去stackoverflow或者github上fluentd仓库的issues中看看有没有解决方案，使用的话，官网已经描述的非常详细了，非常推荐参照官网编写。最后附上官网链接：https://docs.fluentd.org/

记录一次日志采集工具fluentd踩坑相关推荐

nginx通用的日志采集工具
nginx通用的日志采集工具 nginx性质是http反向代理web服务器,能够同时提供imap/pop3/smtp等服务可以将浏览器搜索窗口客户输入的各种参数收集保存到磁盘 nginx特点稳定, ...
Linux日志记录服务，日志管理工具
syslog 简介: syslog是一种广泛使用的日志记录服务,用于记录系统和应用程序的事件,详细记录包括时间戳.主机IP地址.应用程序名称.优先级.消息内容等信息.syslog有三个主要部分:客户端 ...
第十一章：日志采集工具flume使用
先我们来看一张图,如下所示,最上方代表三台设备,当然可以是更多的设备,每台设备运行过程都会产生一些log,这些log是我们需要的信息,我们不可能手动的一台一台的去收集这些log,那样的话太浪费人力了, ...
日志收集工具 Fluentd 使用教程
Fluentd 是一个开源的数据收集器,致力于为用户搭建统一的日志收集层,它可以让你统一日志的收集和消费,以便更好地使用和理解日志,统一的日志记录层可让你和你的团队更好地利用数据并更快地迭代你的应用. ...
在ubuntu18.04上安装拷贝数变异检测工具TitanCNA踩坑记录
一.写在前面 1:在自己电脑上安装ubuntu系统遇到的坑就不说了(引导问题,显卡不兼容问题,检测不到显卡,触摸板无法使用,两个shift健只有一个能用,伴随的就是一次次的卡死和强制重启-心疼我的硬盘 ...
Linux启动nacos成功日志_nacos初体验踩坑与填坑篇
点击上方"蓝字"关注我们最近在看 RuoYi 的分布式微服务架构权限管理系统,RuoYi 的注册中心和配置中心都是采用 alibaba 的 nacos,本文主要介绍使用 Wind ...
（七）日志采集工具sleuth--分布式链路跟踪（zipkin）
微服务架构上通过业务来划分服务的,通过REST调用,对外暴露的一个接口,可能需要很多个服务协同才能完成这个接口功能,如果链路上任何一个服务出现问题或者网络超时,都会形成导致接口调用失败.随着业务的不断 ...
IDEA JAVA gradle等常见工具/包踩坑记录
IDEA如何远程调试: 需要注意运行的那个程序需要加thread.sleep 参考官方案例(上)--------------需要wait for listening 等待调试机来连才行总结: 加 ...
Pytorch翻车记录：单卡改多卡踩坑记！
点击上方"视学算法",选择加"星标"或"置顶" 重磅干货,第一时间送达作者丨哟林小平来源丨夕小瑶的卖萌屋编辑丨极市平台先说明一下背景 ...

记录一次日志采集工具fluentd踩坑

记录一次日志采集工具fluentd踩坑相关推荐

最新文章

热门文章