（1）部署redis

1丶安装redis

yum install epel-release -y
yum install redis -y

2丶修改配置文件

#vim /etc/redis.conf
bind 0.0.0.0
daemonize yes
save ""
requirepass 123456

3.启动redis
systemctl enable redis
systemctl restart redis

（2）配置logstash将日志写入到redis中

1丶修改配置文件

input {file {path => "/var/log/messages"type => "systemlog"start_position => "beginning"stat_interval => "2"}
}output {if [type] == "systemlog" {redis {data_type => "list"host => "192.168.1.31"db => "6"port => "6379"password => "123456"key => "systemlog"}}
}

2丶启动

logstash -f /etc/logstash/conf.d/redis.conf  -t
logstash -f /etc/logstash/conf.d/redis.conf

3丶写入日志到messages日志中

cat /etc/hosts  >>/var/log/messages

4丶登录redis查看

# redis-cli -h 192.168.1.31
192.168.1.31:6379> auth 123456
OK
192.168.1.31:6379> select 6
OK
192.168.1.31:6379[6]> keys *
1) "systemlog"
192.168.1.31:6379[6]> llen systemlog
(integer) 11292
192.168.1.31:6379[6]> lpop systemlog

（3）配置logstash从redis中取出数据到elasticsearch

1丶修改配置文件

input {redis {type => "systemlog"host => "192.168.1.31"password => '123456'port => "6379"db => "6"data_type => "list"key => "systemlog"}
}
output {if [type] == "systemlog" {elasticsearch {hosts => ["192.168.1.31:9200"]index => "redis-systemlog-%{+YYYY.MM.dd}"}}}

2丶启动

logstash -f /etc/logstash/conf.d/redis.conf  -t
logstash -f /etc/logstash/conf.d/redis.conf

3丶启动head插件查看索引

参考链接：

logstash通过redis收集日志： https://www.cnblogs.com/lovelinux199075/p/9112182.html

ELK下logstash通过redis收集日志相关推荐

ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平
ELK平台介绍在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自:http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志.应 ...
ELK下logstash收集java日志,多行合并成一行
介绍使用codec的multiline插件实现多行匹配,这是一个可以将多行进行合并的插件,而且可以使用what指定将匹配到的行与前面的行合并还是和后面的行合并. 1.java日志收集测试 input ...
ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台
ELK平台介绍在搜索ELK资料的时候,发现这篇文章比较好,于是摘抄一小段: 以下内容来自: http://baidu.blog.51cto.com/71938/1676798 日志主要包括系统日志. ...
ELK(ElasticSearch+Logstash+ Kibana)搭建实时日志分析平台
来源:http://www.cnblogs.com/zclzhao/p/5749736.html 一.简介 ELK 由三部分组成elasticsearch.logstash.kibana,elasti ...
ELK下Logstash性能调优
介绍 Logstash 是一款强大的数据处理工具,它可以实现数据传输,格式处理,格式化输出,还有强大的插件功能,常用于日志处理. Logstash优化 Logstash建议在修改配置项以提高性能的时候 ...
ELK学习3_使用redis+logstash+elasticsearch+kibana快速搭建日志平台
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情监控系统的运行状况统计分析,比如接口的调用次数.执行时间.成功率等异常数 ...
ELK学习2_用Kibana和logstash快速搭建实时日志查询、收集与分析系统
Logstash是一个完全开源的工具,他可以对你的日志进行收集.分析,并将其存储供以后使用(如,搜索),您可以使用它.说到搜索,logstash带有一个web界面,搜索和展示所有日志. kibana ...
Centos7下使用ELK（Elasticsearch + Logstash + Kibana）搭建日志集中分析平台
Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在 ...
ELK下一个配置文件收集多个日志-if根据type类型判断
1.同时收集/var/log/messages日志和secure日志 #vim /etc/logstash/conf.d/system.conf input {file {path => &qu ...

ELK下logstash通过redis收集日志

（1）部署redis

（2）配置logstash将日志写入到redis中

（3）配置logstash从redis中取出数据到elasticsearch

ELK下logstash通过redis收集日志相关推荐

最新文章

热门文章