CentOS7安装Fluentd
1. fluentd是什么?
fluentd是一款开源的日志收集工具。它拥有非常多的插件,可以满足的我们对各种格式的日志进行收集,过滤,解析等。把日志信息变成我们想要的格式。并且,没有找到满足我们的插件,我们可以自己写插件。
fluentd收集日志时,将所有日志看做JSON格式的数据。并且用正则表达式去匹配日志。
fluentd是ruby和C语言写的。
2. fluentd安装
之前使用的是td-agent
安装fluentd。td-agent
自带ruby环境。由于版本较低,我需要的插件不能识别。因此,改成软件包安装Fluentd。
这里介绍软件包安装Fluentd。
前面说了,Fluentd是用ruby语言写的日志收集工具。因此需要ruby环境,安装ruby默认是2.0版本的,需要升级版本。
2.1 在线安装ruby
yum install ruby
查看版本
ruby -v
添加ruby仓库
gem sources -a http://mirrors.aliyun.com/rubygems/
安装RVM
RVM(Ruby Version Manager )是一款RVM的命令行工具,可以使用RVM轻松安装,管理Ruby版本。RVM包含了Ruby的版本管理和Gem库管理(gemset)
gpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0E3 7D2BAF1CF37B13E2069D6956105BD0E739499BDBcurl -sSL https://get.rvm.io | bash -s stable
配置使其生效
source /etc/profile.d/rvm.sh
查看RVM版本信息
rvm -v
安装Ruby
rvm install 2.5
验证
ruby -v
注意
如果使用rvm安装发现下载缓慢,可以考虑删除原来的仓库地址,只保留阿里云镜像。
gem sources --remove https://rubygems.org/
2.2 安装Fluentd
安装编译环境和软件包
yum install gcc gcc-c++ make automake autoconf libtool openssl-devel jemalloc-devel gmp-devel -y
安装Fluentd
gem install fluentd --no-ri --no-rdoc
安装fluentd插件
gem install fluent-plugin-kafka --no-ri --no-rdoc
gem install fluent-plugin-elasticsearch --no-ri --no-rdoc
初始化Fluentd
fluentd --setup /etc/fluentd
启动
fluentd -c /etc/fluentd/fluent.conf
2.3 丰富的日志格式
fluentd自带丰富的日志收集格式。以及可以将日志收集到各种存储的数据库。
Fluentd有7种类型的插件:输入、解析器、过滤器、输出、格式化程序、存储和缓冲区。
参考文献
[1] https://docs.fluentd.org/v1.0/articles/quickstart 官方网站
[2] https://blog.csdn.net/qq_26440803/article/details/82717244 CentOS7升级Ruby
CentOS7安装Fluentd相关推荐
- linux yum yum gem,CentOS 7 gem 安装fluentd
由于ELK中的logstash 太过臃肿,CPU和内存使用过大, 我们需要一个性能更好,资源消耗低的替代品.fluentd就是我们想要的. 测试表明,在相同负载情况下,fluentd的性能数倍于log ...
- centos7 nginx配置php7,centos7安装并配置nginx+php,centos7nginx
centos7安装并配置nginx+php,centos7nginx centos7安装并配置nginx+php 安装nginx yum install nginx 设置nginx开启起动 syste ...
- centos7安装配置pgAgent
centos7安装pgagent: 默认cmake已经安装 编译wxGTK https://excellmedia.dl.sourceforge.net/project/wxwindows/2.8.7 ...
- centos7 安装mysql php_Centos7安装mysql与php的方法
本文主要和大家分享Centos7安装mysql与php的方法,希望能帮助到大家. 相关mysql视频教程推荐:<mysql教程> 官网下载安装mysql-server 依次使用下面三个命令 ...
- Centos7安装Apache和PHP,包含配置过程
本文主要讲的是本人在迁移php网站相关软件的安装和配置过程,以及一下问题的解决步骤.通过阅读本文能够知道如何迁移php网站,如何配置httpd服务使得它能够解析php文件以及如何解决迁移过程中的异常问 ...
- LINUX CentOS7安装字体库
LINUX CentOS7安装字体库 2017年12月26日 17:06:07 q260996583 阅读数:4866更多 个人分类: linux JAVA画图时常用到Font 类对象 这样的对象依赖 ...
- centos7安装mysql缺失依赖_CentOS7安装mysql5.7不成功,解决依赖包之后还是无法安装成功...
[root@xg79 ~]# yum -y installmysql-community-server ............. Error: Package:mysql-community-ser ...
- linux tomcat7怎么安装,centos7安装Tomcat7,
centos7安装Tomcat7, 一.环境 centos7 linux apache-tomcat-7.0.92.tar.gz:链接:https://pan.baidu.com/s/1-clhIjD ...
- CentOS7安装CDH 第三章:CDH中的问题和解决方法
CentOS7安装CDH 第三章:CDH中的问题和解决方法 参考文章: (1)CentOS7安装CDH 第三章:CDH中的问题和解决方法 (2)https://www.cnblogs.com/yang ...
最新文章
- Android如何使用so文件和Android studio中导入so
- java byter是字节吗_GitHub - XXQAQ/Byter: 字节对象转换框架,一个基于字节的 Gson/FastJson...
- Android网络编程
- USB 设备类协议入门【转】
- 运行中SQL Server查询存储
- mysql数据库连接数瓶颈_MySQL数据库性能优化之硬件瓶颈分析
- poj 1251 Jungle Roads
- QueryRunner类
- 详解 Flink 指标、监控与告警
- HDU 1195 Open the Lock BFS
- 怀旧日剧_怀旧爱好者的老式计算资源
- 在努力的途中 忤逆满路荆棘
- 如何获取微信小店页面路径
- element-ui 表格总计有多行的情况
- 推荐一个开源的LMS系统ILIAS
- matlab应用测试,moocMATLAB程序与应用单元测试答案
- 利用stm32+app inventor与esp8266通信
- 使用云主机的5大好处?
- 得吃货者得天下,美食内容IP如何征服大众的胃与心?
- 电子商务网站大全_2010_版
热门文章
- mysql获取近几年、近几个月、近几天的数据
- 何处的中国计算机文化
- SRAM 和 DRAM 的区别
- 淘宝客5.44+代理2.68+京东客5.1教程-解密全开版-附带小程序模版-微赞模版
- SPSS Modeler18.0数据挖掘软件教程(三):逻辑回归分析
- python调用百度语音搜索_python调用百度语音识别实现大音频文件语音识别功能
- 如何将闲置的平板作为第二显示器(分屏)使用
- 打领带全教程(附领带与衬衣搭配技巧)
- oracle 生成日期列表,oracle下sql创建指定年份全年日期表(区分工作日)
- iOS 将http%3A%2F%2F解析为URL