logstash的output插件
logstash 的output插件
nginx,logstash和redis在同一台机子上
yum -y install redis,vim /etc/redis.conf 设置bind 0.0.0.0 ,使redis监听在所有端口上
systemctl start redis.service, cd /etc/logstash/conf.d
vim nglogredissample.conf
input {
file {
path => ["/var/log/nginx/access.log"]
type => "nginxlog"
start_position => "beginning"
}
}
filter {
grok {
match => { "message" => "%{NGINXACCESS}" }
}
}
output {
redis {
port => "6379"
host => ["127.0.0.1"]
data_type => "list"
key => "logstash-%{type}"
}
}
其中output是将nginx的日志发送给redis的list,list是一个链表结构,主要功能是push、pop、获取一个范围的所有值等等,操作中
key理解为链表的名字,Redis的list类型其实就是一个每个子元素都是string类型的双向链表。链表的最大长度是(2的32次方)。我们
可以通过push,pop操作从链表的头部或者尾部添加删除元素。这使得list既可以用作栈,也可以用作队列
%{type}是调用前面的nginxlog, date_type是将数据存入redis的list中
刷新一下nginx的页面,使用redis-cli登陆redis,并使用命令LLEN logstash-nginxlog 就可查看到该list有多少个元素了,使用
lindex logstash-nginxlog 0命令可以查看第一个元素,如果这些元素没被取出将会一直存在于此list中
再启动一台logstash服务器,yum -y install logstash-1.5.4-1.noarch.rpm, cd /etc/logstash/conf.d/,
vim server.conf
input {
redis {
port => "6379"
host => "192.168.204.135"
data_type => "list"
key => "logstash-nginxlog"
}
}
output {
stdout {
codec => rubydebug
}
}
这台logstash服务器的目的是到redis上去取数据,并把数据输出到标准输出,这时刷新一下nginx的页面就可以看到数据了
开启一台elasticsearch服务器,yum -y install java-1.7.0-openjdk-devel, yum -y elasticsearch-1.7.2.noarch.rpm
编辑配置文件:vim /etc/elasticsearch/elasticsearch.yml
编辑:cluster.name: loges node.name: "node1"
service elasticsearch start
/usr/share/elasticsearch/bin/plugin -i bigdesk -u file:///root/bigdesk-master.zip 安装插件
浏览器中http://192.168.204.131:9200/_plugin/bigdesk/ 访问此插件
安装kibana 4.1.4, kibana是一个前端展示数据工具,可以安装在elasticsearch集群中的某一个节点,也可以安装在一台单独的节点
上
tar xf kibana-4.1.4-linux-x64.tar.gz -C /usr/local/ cd /usr/local
ln -s kibana-4.1.4-linux-x64 kibana cd kibana/config
vim kibana.yml
修改:其实默认无需修改什么,因为kibana和上面的elasticsearch服务器在同一台主机上
启动程序在/usr/local/kibana/bin目录下,在/usr/local/kibana目录下使用bin/kibana -h 查看命令帮助
bin/kibana 运行在前台, bin/kibana &运行在后台 ss -tnl 查看5601端口是否开启
浏览器中http://192.168.204.131:5601访问kibana
现在将日志输出到ES集群中去,并有kibana展示
修改前面一台logstash服务器的配置文件,vim server.conf
input {
redis {
port => "6379"
host => "192.168.204.135"
data_type => "list"
key => "logstash-nginxlog"
}
}
output {
elasticsearch {
cluster => "loges"
index => "logstash-%{+YYYY.MM.dd}"
}
}
logstash -f ./server.conf --configtest
[2016-07-21 08:27:28.434] WARN -- Concurrent: [DEPRECATED] Java 7 is deprecated, please use Java 8.
Java 7 support is only best effort, it may not work. It will be removed in next release (1.0).
Configuration OK
检查配置文件时告诉我,虽然java 7尽力支持但见我我使用java 8 因此以后要用java 8咯
实验做到这里报错了,可能是版本的问题,架构是部署logstash在web服务器上收集日志,并将日志传给redis,另外部署一台
logstash到redis上去取日志,然后将取到的日志传给elasticsearch服务器
转载于:https://www.cnblogs.com/linuxboke/p/5706813.html
logstash的output插件相关推荐
- ELK logstash KV过滤插件
过滤插件:通用配置字段 add_field 如果过滤成功,添加一个字段到这个事件 add_tags 如果过滤成功,添加任意数量的标签到这个事件 remove_field 如果过滤成功,从这个事件移除任 ...
- 使用logstash csv filter插件时自动检测表头失败
在logstash中使用csv filter解析表头时,一种方法是用coulmn直接把每个表头一一对应写进去,另一种方法是在csv插件中使用autdetect_column_names => & ...
- Docker 安装 ES 7.7.0 及 Head、Kibana、IK分词器、Logstash、Filebeat 插件
目录 环境信息 ES安装 ElasticSearch-Head安装 IK分词器安装 环境信息 Docker version 1.13.1, build 4ef4b30/1.13.1 CentOS Li ...
- 【elasticsearch 】logstash elasticsearch output plugin 的阻塞问题
问题描述: 在使用logstash向elasticsearch写入数据时,如果写入的索引已经被es关闭,logstash会阻塞住,es输出插件会无限重试这些有问题的数据. 问题版本信息: logsta ...
- Logstash的filter插件介绍
一 官网说明 过滤器插件对事件执行中介处理.通常根据事件的特征有条件地应用过滤器. 以下过滤器插件在下面可用. Plugin Description Github repository aggrega ...
- LogStash~LogStash的output(输出)
1.标准输出 output {stdout {codec => rubydebug} } 2.ElasticSearch output {elasticsearch {hosts => [ ...
- logstash 中multiline插件的用法
input {stdin {codec =>multiline {charset=>... #可选 字符编码 max_bytes=>... #可选 bytes类型 设置最大的字节数m ...
- Logstash~filter.kv插件使用教程(附带示例)
一.kv介绍 用于解析key=value类型的消息,可以配置任意字符串来拆分数据,不一定非要用=符号,kv对的间隔也不一定非要用空格 二.allow_duplicate_values 功能:允许重复键 ...
- Logstash(二)input、codec插件详解
input input 插件指定数据输入源,一个pipeline可以有多个input插件,我们主要讲解下面的几个input插件: - stdin- file- kafka Input Plugin – ...
最新文章
- 经典排序算法 - 冒泡和快排总结
- mysql 正则表达式_MySQL(基础正则表达式)
- HDU5726 GCD(rmq+二分)
- 来自一名程序员的表白
- ifm virtual check part3
- hdu 4831(线段树---待解决)
- matlab 自动扫雷,MATLAB自动扫雷(2)——排雷插旗
- ORA-29786: SIHA attribute GET failed with error
- php 高级特性,PHP对象、模式与实践之高级特性分析
- 我收藏的一份嵌入式软硬件内容(含PDF下载)
- ev10aq190a采集电路图_EV10AQ190A数模转换器
- 推荐一篇关于多租户Multi-Tenant数据架构的文章
- python实现表格_python 实现绘制整齐的表格
- js事件的冒泡(bubble)机制说明
- python公众号文章_python微信公众号文章爬取
- 在TCGA中查找mutation突变
- drcom for linux,Drcom for Ubuntu上网解决经验
- dlink 备份文件_D-Link路由器备份路由器配置信息教程
- 电脑上上传安装apk到手机或者模拟器上
- 键盘事件(onkeyup onkeydown)
热门文章
- php的$_server例子,php全局变量$_SERVER的四个例子
- 数学建模之图论——图与网络模型(一)(基本概念和最短路问题,附MATLAB源码)
- 写给小白的机器学习之决策树算法详解(附实战源码)
- 就业寒冬,从拉勾招聘看Python就业前景
- 对HTML标记的理解,初学者接触HTML了解一些HTML标记(1)
- 多层陶瓷电容器用处_陶瓷电容器的用途有哪几种?
- 散点图 横纵坐标_厉害了我的Python!散点图还能这么画
- ES6-使用let关键字定义变量
- BoostrapTable的refresh和refreshOptions区别
- 数据库之MySQL补充