[logstash-input-file]插件使用详解
2019独角兽企业重金招聘Python工程师标准>>>
这个插件可以从指定的目录或者文件读取内容,输入到管道处理,也算是logstash的核心插件了,大多数的使用场景都会用到这个插件,因此这里详细讲述下各个参数的含义与使用。
最小化的配置文件
在Logstash中可以在 input{} 里面添加file配置,默认的最小化配置如下:
input {file {path => "E:/software/logstash-1.5.4/logstash-1.5.4/data/*"}
}
filter {}
output {stdout {}
}
当然也可以监听多个目标文件:
input {file {path => ["E:/software/logstash-1.5.4/logstash-1.5.4/data/*","F:/test.txt"]}
}
filter {}
output {stdout {}
}
文件的路径名需要时绝对路径,并且支持globs写法。
其他的配置
另外,处理path这个必须的项外,file还提供了很多其他的属性:
input {file {#监听文件的路径path => ["E:/software/logstash-1.5.4/logstash-1.5.4/data/*","F:/test.txt"]#排除不想监听的文件exclude => "1.log"#添加自定义的字段add_field => {"test"=>"test"}#增加标签tags => "tag1"#设置新事件的标志delimiter => "\n"#设置多长时间扫描目录,发现新文件discover_interval => 15#设置多长时间检测文件是否修改stat_interval => 1#监听文件的起始位置,默认是endstart_position => beginning#监听文件读取信息记录的位置sincedb_path => "E:/software/logstash-1.5.4/logstash-1.5.4/test.txt"#设置多长时间会写入读取的位置信息sincedb_write_interval => 15}
}
filter {}
output {stdout {}
}
其中值得注意的是:
1 path
是必须的选项,每一个file配置,都至少有一个path
2 exclude
是不想监听的文件,logstash会自动忽略该文件的监听。配置的规则与path类似,支持字符串或者数组,但是要求必须是绝对路径。
3 start_position
是监听的位置,默认是end,即一个文件如果没有记录它的读取信息,则从文件的末尾开始读取,也就是说,仅仅读取新添加的内容。对于一些更新的日志类型的监听,通常直接使用end就可以了;相反,beginning就会从一个文件的头开始读取。但是如果记录过文件的读取信息,这个配置也就失去作用了。
4 sincedb_path
这个选项配置了默认的读取文件信息记录在哪个文件中,默认是按照文件的inode等信息自动生成。其中记录了inode、主设备号、次设备号以及读取的位置。因此,如果一个文件仅仅是重命名,那么它的inode以及其他信息就不会改变,因此也不会重新读取文件的任何信息。类似的,如果复制了一个文件,就相当于创建了一个新的inode,如果监听的是一个目录,就会读取该文件的所有信息。
5 其他的关于扫描和检测的时间,按照默认的来就好了,如果频繁创建新的文件,想要快速监听,那么可以考虑缩短检测的时间。
6 add_field
就是增加一个字段,例如:
file {add_field => {"test"=>"test"}path => "D:/tools/logstash/path/to/groksample.log"start_position => beginning}
7 tags
用于增加一些标签,这个标签可能在后续的处理中起到标志的作用
8 delimiter
是事件分行的标志,如果配置成123,那么就会如下所示。这个选项,通常在多行事件中比较有用。
转载于:https://my.oschina.net/u/2000675/blog/893146
[logstash-input-file]插件使用详解相关推荐
- logstash过滤器插件filter详解及实例
原创作者:峰哥ge 原创地址: https://www.cnblogs.com/FengGeBlog/p/10305318.html logstash过滤器插件filter grok正则捕获 grok ...
- fileupload的回调方法_jQuery File Upload文件上传插件使用详解
本篇教程介绍了jQuery File Upload文件上传插件使用详解,希望阅读本篇文章以后大家有所收获,帮助大家对jQuery的理解更加深入. < jQuery File Upload 是一个 ...
- [logstash-input-log4j]插件使用详解
Log4j插件可以通过log4j.jar获取Java日志,搭配Log4j的SocketAppender和SocketHubAppender使用,常用于简单的集群日志汇总. 最小化的配置 input { ...
- bpmn如何查看代码 idea_IDEA教程之Activiti插件图文详解
本文作者:Spring_ZYL 文章来源:https://blog.csdn.net/gozhuyinglong 版权声明:本文版权归作者所有,转载请注明出处 一.安装Activiti插件 1.搜索插 ...
- fullPage教程 -- 整屏滚动效果插件 fullpage详解
为什么80%的码农都做不了架构师?>>> 本文为 H5EDU 机构官方 HTML5培训 教程,主要介绍:fullPage教程 -- 整屏滚动效果插件 fullpage详解 1. ...
- 导出jar插件_Fluttify输出的Flutter插件工程详解
系列文章: yohom:Fluttify输出的Flutter插件工程详解zhuanlan.zhihu.com yohom:开发Flutter插件必备原生SDK->Dart接口生成引擎`Flut ...
- file java详解_Java中File的实例详解
Java中File的实例详解 File 代表文件或者目录的类 构造函数 File(File parent,String child)---代表了指定父目录下的指定的子文件或者子目录 File(Stri ...
- 雪碧图PHP,Webpack中雪碧图插件使用详解
背景 在开发过程中,我们需要用到很多图标,这些图标的大小不是很大,但是每次需要向服务器发送请求,从而加重服务器的负担,尤其是当网站处于高访问量的情况下或网络不稳定的时候,服务器性能会明显下降.这种情况 ...
- jQuery form插件使用详解
点击打开: jquery选择器全解 jquery中的style样式操作 jquery中的DOM操作 jquery中的事件操作全解 jquery中的动画操作全解 jquery中ajax的应用 自定义jq ...
- java file 实例_Java File类的详解及简单实例
Java File类的详解及简单实例 1. File():构造函数,一般是依据文件所在的指定位置来创建文件对象. CanWrite():返回文件是否可写. CanRead():返回文件是否可读. Co ...
最新文章
- 软件测试_APP测试_兼容性测试
- 稻盛和夫《活法》读后感
- AtCoder AGC034D Manhattan Max Matching (网络流)
- 使用SCOM常用的一些ManagementPack
- [Android] The connection to adb is down, and a severe error has occured
- 万字长文梳理:从0开始,步入Service Mesh微服务架构的世界
- 实战系列-IDEA中Spring MVC实现接口功能
- 详细分析开源软件 ExifTool 的任意代码执行漏洞 (CVE-2021-22204)
- Android 一步步教你从ActionBar迁移到ToolBar
- backBarButtonItem 替换
- 洛谷 P1433 吃奶酪 Label:dfs 剪枝Ex
- 【CSDN最全java项目实战500篇】练手/项目经验/毕设刚需
- Latex学习--参考文献排版(ieee access 模板)
- 谷歌ai人工智能叫什么_Google I / O 2017的“ AI First”口号
- 高斯消元法求解线性方程组
- mongodb查询某个字段数据
- OS学习笔记-7(清华大学慕课)实验二物理内存管理
- ThinkPHP在线小说阅读管理系统
- 3DMAX的用途,游戏建模高效学习技巧,高薪职位选择
- tinyint(1)与tinyint(3),int(1)与int(3),tiny(1)与int(1)区别
热门文章
- android 设置按钮高度,如何在本机android中设置按钮的高度
- jQuery中的.bind()、.live()和.delegate()之间区别分析
- react怎么存上一页_如何实现 React 中的状态自动保存?
- 一个Python绘图示例程序中的几个语法糖果
- 2021年人工神经网络第四次作业-第四题:旋转的数字
- 基于 RT-Thread的全向赛车算法开发
- 5月15日直播预告:英飞凌AURIX™培训—图像处理、实车演示等热点问题
- 2021年春季学期-信号与系统-第九次作业参考答案-第六小题
- matlab迷宫做短路径,迷宫最短路径问题解析
- 如何在树莓派上进行python编程_设置并使用树莓派进行Python和C语言编程 (下)