【官方文档】Fluentd 安装前的配置

文章目录

1. 配置 NTP
2. 增加文件描述符的最大数量
3. 优化网络内核参数
4. 使用粘位符号链接 / 硬链接防护

官方文档地址： Before Installation

在安装 Fluentd 之前，请确保正确设置环境，以避免在稍后阶段出现任何不一致。

遵循这些建议：

配置 NTP。
增加文件描述符的最大数量。
优化网络内核参数。

1. 配置 NTP

强烈建议您在节点上设置一个 NTP 守护进程（例如 chrony、ntpd ），以获得准确的当前时间戳。这对于所有生产级日志服务都是至关重要的。

对于 Amazon Web Services 用户，我们建议使用 AWS 托管的 NTP 服务器。

2. 增加文件描述符的最大数量

增加文件描述符的最大数量。可以使用ulimit -n命令查看当前配置：

$ ulimit -n
65535

如果控制台显示 1024，则不足。请在/etc/security/limits.conf文件中添加以下几行，然后重新启动机器：

root soft nofile 65536
root hard nofile 65536
* soft nofile 65536
* hard nofile 65536

如果您在systemd下运行 fluentd，也可以使用选项LimitNOFILE=65536。而且，如果您正在使用td-agent包，则默认设置此值。

3. 优化网络内核参数

对于有很多 Fluentd 实例的高负载环境，在/etc/sysctl.conf文件中添加以下配置：

net.core.somaxconn = 1024
net.core.netdev_max_backlog = 5000
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_wmem = 4096 12582912 16777216
net.ipv4.tcp_rmem = 4096 12582912 16777216
net.ipv4.tcp_max_syn_backlog = 8096
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 10240 65535

使用sysctl -p命令或重新引导节点使更改生效。

这些内核选项最初来自于高级性能架构师 Brendan Gregg 在 AWS re:Invent 2017 上的演讲 How Netflix Tunes EC2 Instances for Performance。

4. 使用粘位符号链接 / 硬链接防护

注意：CentOS 7 及以上版本、Ubuntu 18.04 及以上版本、Debian GNU/Linux 10 及以上版本均支持这些参数。

Fluentd 有时使用可预测的路径来转储、写入文件等。保护的默认设置在/etc/sysctl.d/10-link-restrictions.conf或者/usr/lib/sysctl.d/50-default.conf或在别处。

对于符号链接攻击防护，以下参数设置为1：

fs.protected_hardlinks = 1
fs.protected_symlinks = 1

这个设置几乎是足够的 time-of-check to time-of-use（TOCTTOU，TOCTTOU或TOC/TOU），这是一类软件错误。

如果你关掉了这些保护装置，请把它们打开。

使用sysctl -p命令或重新引导节点使更改生效。