logstash-input-redis插件使用详解
input {#redis {#host=> "10.246.187.12"#redis地址#host=> "10.246.152.116"#redis地址#port => "6379" #redis端口号#password => "123qwe" #如果有安全认证,此项为密码#key => "logstash:redis"#type => "redis-input"#data_type => "list"#threads =>8 #启用线程数量#batch_count => 10 #EVAL命令返回的事件数目#db => 0 #redis数据库的编号#}file {ignore_older => 87400path => ["/app/audit/idpws-login-audit.log"]#path => ["/tmp/test.log"]start_position => beginningsincedb_path => "/app/logstash-7.12.1/sincedb-access"}}
工作流程:
- logstash启动redis插件
- redis插件获取参数,进行校验工作
- 判断监听模式(list,channel,pattern_channel等),根据不同的监听模式创建监听任务
- 创建redis实例,绑定EVAL脚本;通过指定的redis模式,发送请求,监听数据
- redis返回指定内容的数(可能是列表list,也可能是某个特定的频道中的数据)
- 得到的数据,进行处理,返回给logstash
- 如果发送了停止信号,则根据不同的模式,发送不同的命令退出redis。
db
Redis里面有数据库的概念,一般是16个,默认登录后是0,可以通过命令选择。如果应用系统选择使用了不同的数据库,那么可以通过配置这个参数从指定的数据库中读取信息。
key
Redis中的数据都是通过键值来索引的,不管是字符串还是列表,所以这个key相当于数据库中的表。
如果是list或者channel模式,key都是指定的键值;而如果是pattern_channel,那么key可以通过glob通配的方式来指定。
password
有的Redis为了安全,是需要进行验证的。只有设置了password,才能正确的读取信息。相反,如果redis没有设置密码,而logstash中配置了密码,也会报错!
batch_count
这个属性设置了服务器端返回的事件数目,比如设置了5条,那么每次请求最多会直接获取5条日志返回。
data_type logstash工作的类型
logstash中的redis插件,指定了三种方式来读取redis队列中的信息。
- list=>BLPOP
- channel=>SUBSCRIBE
- pattern_channel=>PSUBSCRIBE
其中list,相当于队列;channel相当于发布订阅的某个特定的频道;pattern_channel相当于发布订阅某组频道。channel与pattern_channel区别就在于一个是监听特定的键值,一个是监听某一组键值。
logstash-input-redis插件使用详解相关推荐
- logstash过滤器插件filter详解及实例
原创作者:峰哥ge 原创地址: https://www.cnblogs.com/FengGeBlog/p/10305318.html logstash过滤器插件filter grok正则捕获 grok ...
- [logstash-input-log4j]插件使用详解
Log4j插件可以通过log4j.jar获取Java日志,搭配Log4j的SocketAppender和SocketHubAppender使用,常用于简单的集群日志汇总. 最小化的配置 input { ...
- fullPage教程 -- 整屏滚动效果插件 fullpage详解
为什么80%的码农都做不了架构师?>>> 本文为 H5EDU 机构官方 HTML5培训 教程,主要介绍:fullPage教程 -- 整屏滚动效果插件 fullpage详解 1. ...
- Redis AOF 持久化详解
来自公众号:程序员历小冰 Redis 是一种内存数据库,将数据保存在内存中,读写效率要比传统的将数据保存在磁盘上的数据库要快很多.但是一旦进程退出,Redis 的数据就会丢失. 为了解决这个问题,Re ...
- fileupload的回调方法_jQuery File Upload文件上传插件使用详解
本篇教程介绍了jQuery File Upload文件上传插件使用详解,希望阅读本篇文章以后大家有所收获,帮助大家对jQuery的理解更加深入. < jQuery File Upload 是一个 ...
- 导出jar插件_Fluttify输出的Flutter插件工程详解
系列文章: yohom:Fluttify输出的Flutter插件工程详解zhuanlan.zhihu.com yohom:开发Flutter插件必备原生SDK->Dart接口生成引擎`Flut ...
- 转-Redis AOF 持久化详解
转自: https://juejin.cn/post/6844903902991630349 Redis AOF 持久化详解 Redis 是一种内存数据库,将数据保存在内存中,读写效率要比传统的将数据 ...
- [转]Redis内部数据结构详解-sds
本文是<Redis内部数据结构详解>系列的第二篇,讲述Redis中使用最多的一个基础数据结构:sds. 不管在哪门编程语言当中,字符串都几乎是使用最多的数据结构.sds正是在Redis中被 ...
- 雪碧图PHP,Webpack中雪碧图插件使用详解
背景 在开发过程中,我们需要用到很多图标,这些图标的大小不是很大,但是每次需要向服务器发送请求,从而加重服务器的负担,尤其是当网站处于高访问量的情况下或网络不稳定的时候,服务器性能会明显下降.这种情况 ...
最新文章
- crx header invalid_解决Chrome插件安装时程序包无效【CRX_HEADER_INVALID】(转载+xPath插件)...
- Django基础知识
- Attention!注意力机制可解释吗?
- 教程:一起学习Hystrix--服务(依赖)失败场景的表象
- 仿射密码介绍以及解题脚本
- Hadoop |集群的搭建
- snake4444勒索病毒成功处理教程方法工具达康解密金蝶/用友数据库sql后缀snake4444...
- Java System类loadLibrary()方法与示例
- 常用sql语句整理:mysql
- python测试开发工程师前景_测试开发工程师,薪水20k值吗?
- 百度地图坐标系统应用
- 软件测试用例编写模板
- 【小白篇】初探 Processing 色彩
- 数字化到底有什么用?
- 基于项目的协同过滤推荐算法单机版代码实现(包含输出电影-用户评分矩阵模型、项目相似度、推荐结果、平均绝对误差MAE)
- React--》UI组件库ant-design的介绍与使用
- 如何转型社交新零售电商?转型社交新零售的核心关键是什么?
- 高级运维工程师证书_一位IT运维工程师的CISSP认证历程,值得借鉴!
- html封面设计图片手绘大全,封面设计铅笔画手绘图片
- 星星之火-39: 什么是LTE物理层“时频”资源以及与物理层信道帧结构、物理层信道的关系?
热门文章
- ipcp协议 Linux,Linux命令Man解释:PPPD(8) :点对点daemon协议
- 2018北京大学计算机考研分数线,2018年北京大学考研复试分数线已公布
- case是java关键字吗_Java关键字
- c语言 p *p,C语言之指针*p++和*(p++)区别
- mysql索引_MySQL索引介绍和实战
- numpy支持比python更多的数据类型_NumPy数据类型
- java还值_Java到底是引用传递还是值传递
- java 取pdf 文本域_java – 使用iText从pdf文件中提取文本列
- html5 输入框有值无效,HTML5基础 input required 输入框内必须有内容
- java web 文件上传工具类_JavaWeb中实现文件上传的方式有哪些?