了解Logstash输入插件

　　输入插件是Logstash从特定的数据源读取数据，Logstash可用插件包括，详情可见这里，下面说一些常见的输入插件：

　　stdin插件：标准的输入插件，能够从命令行中读取事件。

　　可选配置：

add_field hash(哈希) ｛｝

codec codec “line”

tags array(数组)

type string（字符串）

　　file插件：Logstash 使用一个名叫 FileWatch 的 Ruby Gem 库来监听文件变化。这个库支持 glob 展开文件路径，而且会记录一个叫 .sincedb 的数据库文件来跟踪被监听的日志文件的当前读取位置。所以，不要担心 logstash 会漏过你的数据。

　sincedb 文件中记录了每个被监听的文件的 inode, major number, minor number 和 pos。

　　示例：

inputfile {path => ["/var/log/*.log", "/var/log/message"]type => "system"start_position => "beginning"}
}

　　通常你要导入原有数据进 Elasticsearch 的话，你还需要 filter/date 插件来修改默认的"@timestamp" 字段值。

　　FileWatch 只支持文件的绝对路径，而且会不自动递归目录。所以有需要的话，请用数组方式都写明具体哪些文件。

　　LogStash::Inputs::File 只是在进程运行的注册阶段初始化一个 FileWatch 对象。所以它不能支持类似 fluentd 那样的 path => "/path/to/%{+yyyy/MM/dd/hh}.log" 写法。达到相同目的，你只能写成 path => "/path/to/*/*/*/*.log"。

　　logstash 每隔多久去检查一次被监听的 path 下是否有新文件。默认值是 15 秒。

　　logstash 每隔多久写一次 sincedb 文件，默认是 15 秒。

　　logstash 每隔多久检查一次被监听文件状态（是否有更新），默认是 1 秒。

　　generator：生成数据组件，用来生成测试数据最好用。

转载于:https://blog.51cto.com/favccxx/1827456

了解Logstash输入插件相关推荐

kettle 表输入显示重复_表输入插件详解
表输入步骤用于将数据源的数据加载到Kettle转换中的行集,可以说是数据从持久化到内存的一种加载变换,故名为输入.加载内部过程,就是通过JDBC连接到数据源执行SQL语句,将返回结果解析为行集,传递给 ...
logstash java插件_[logstash-input-log4j]插件使用详解
Log4j插件可以通过log4j.jar获取Java日志,搭配Log4j的SocketAppender和SocketHubAppender使用,常用于简单的集群日志汇总. 最小化的配置 input { ...
logstash过滤器插件filter详解及实例
原创作者:峰哥ge 原创地址: https://www.cnblogs.com/FengGeBlog/p/10305318.html logstash过滤器插件filter grok正则捕获 grok ...
C# 自定义控件，日期时间选择输入插件
using System; using System.ComponentModel; using System.Drawing; using System.Reflection; using Syst ...
【官方文档】Fluent Bit 数据管道之输入插件（Tail）
文章目录 1. 配置参数 2. 多行支持 2.1. 多行核心 (v1.8) 2.2. 多行和容器 (v1.8) 2.3. 旧的多行配置参数 2.4. 旧的 Docker 模式配置参数 3. 入门指南 ...
wx简单语音输入插件
最近想给微信小程序做一个语音输入插件,记录一下,给以后插件制作提供指导.目前感觉微信插件官方文档不是特别全,有的接口在小程序中可以调用,但是在插件中会失效,且找不到很好的替代品,所以会感到比较头疼. ...
ELK技术栈—Logstash—Input插件
原文作者:归来朝歌原文地址:logstash之Input插件 1.stdin标准输入和stdout标准输出 Logsrtash含有两个非常重要的基础插件,input与output:首先执行命令: b ...
logstash grok插件语法介绍
介绍 logstash拥有丰富的filter插件,它们扩展了进入过滤器的原始数据,进行复杂的逻辑处理,甚至可以无中生有的添加新的 logstash 事件到后续的流程中去!Grok 是 Logstash ...
vue h5 车牌键盘输入插件
接下来带大家用一个键盘输入车牌号的的使用看下效果图首先在compoents里引入写好的插件 <template><view class="keyboard-wrap&q ...

了解Logstash输入插件

了解Logstash输入插件相关推荐

最新文章

热门文章