Logstash输出日志到elasticsearch
Logstash配置文件
[root@test ~]# vim useTime.conf
input {
stdin{}
}
filter {
grok {
match => {
"message" => "\s+(?<API>调用.*(用时|异常)).*useTime=(?<request_time>\d+?)$"
}
}
}
output {
stdout{
codec => rubydebug
}
elasticsearch {
hosts => ["192.168.81.128:9200"]
index => "logstash-%{type}-%{+YYYY.MM.dd}"
document_type => "%{type}"
workers => 1
template_overwrite => true
}
}
[root@test ~]#
测试对应的日志
[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)用时,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=251
[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)异常,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=2510
测试结果
[root@test ~]# /opt/logstash-2.3.4/bin/logstash -f useTime.conf
Settings: Default pipeline workers: 1
Pipeline main started
[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)用时,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=251
{
"message" => "[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)用时,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=251",
"@version" => "1",
"@timestamp" => "2016-07-31T01:28:26.910Z",
"host" => "0.0.0.0",
"API" => "调用gz(广州银行)用时",
"request_time" => "251"
}
[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)异常,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=2510
{
"message" => "[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)异常,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=2510",
"@version" => "1",
"@timestamp" => "2016-07-31T01:28:47.205Z",
"host" => "0.0.0.0",
"API" => "调用gz(广州银行)异常",
"request_time" => "2510"
}
查看elasticsearch状态
Over !!
转载于:https://blog.51cto.com/cexpert/1832265
Logstash输出日志到elasticsearch相关推荐
- logStash收集日志并存储到Elasticsearch
为什么80%的码农都做不了架构师?>>> 上一节说道如何用logStash收集日志,结合Elasticsearch 进行日志收集和存储 logStash配置如下 input { ...
- 使用Filebeat采集日志结合logstash过滤出特定格式的日志至Elasticsearch
使用Filebeat采集日志结合logstash过滤出特定格式的日志 文章目录 使用Filebeat采集日志结合logstash过滤出特定格式的日志 ELK搭建 什么是Filebeat 什么是Logs ...
- 基于logstash实现日志文件同步elasticsearch
更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ ...
- ELK 使用filebeat替代Logstash收集日志
使用beats采集日志 之前也介绍过beats是ELK体系中新增的一个工具,它属于一个轻量的日志采集器,以上我们使用的日志采集工具是logstash,但是logstash占用的资源比较大,没有beat ...
- Spring Boot 使用 Log4j2 Logback 输出日志到 EKL
文章目录 1.ELK 介绍 2.环境.软件准备 3.ELK 环境搭建 4.Spring Boot 配置示例 4.1.Log4j2 方式配置 4.2.Logback 方式配置 1.ELK 介绍 ELK ...
- 大数据——Logstash(日志收集)
Logstash(日志收集) ELK Stack Logstash简介 安装Logstash Logstash如何工作 Logstash配置语法(一) Logstash配置语法(二) 输入插件 编解码 ...
- Logstash 分布式日志管理
背景 日常部署服务时,为了达到 High Available 或是 Load Balance 的目的,经常会在多个服务器部署多个服务实例.不同实例的日志一般都是直接写入本地的日志文件中,一旦出现问题或 ...
- 2021年大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...
- ELKStack入门篇(三)之logstash收集日志写入redis
1.部署Redis 1.1.下载redis [root@linux-node2 ~]# wget http://download.redis.io/releases/redis-4.0.6.tar.g ...
最新文章
- [编程题]数字分类 (20)
- Sass学习笔记(一)
- 慕课网:SpringBoot+MyBatis搭建迷你小程序
- zabbix 监控项自动发现过滤_通过Zabbix的自动发现(规则)自动创建监控项
- Java黑皮书课后题第10章:**10.23(实现String类)在Java库中提供了String类,给出你自己对下面方法的实现(将新类命名为MyString2)
- C++ 标准文件的写入读出(ifstream,ofstream)
- 《C++之那些年踩过的坑(附录一)》
- 依赖 netty spring_面试官:如何写好一个 Spring 组件?懵圈!
- ArcMAP TIN与栅格DEM的坡度坡向对比分析
- 【Python】实现商品信息管理系统(界面版,附带数据库)
- diabetes影响因子2017_【重磅】2017 年内分泌领域 SCI 期刊影响因子出炉
- python求三角形斜边-python 已知三条边求三角形的角度案例
- oce专项认证 oracle_Oracle Certification Program | Oracle 中国
- 裸金属服务器内容讲解以及介绍
- 相识-相知-相亲-娶亲-享受
- 干货|app自动化测试之Appium 原理 与 JsonWP 协议分析
- 【考研英语语法】冠词练习题
- 小忽视大问题:4.8通过 Apple 登录
- Mobiola web camera Mobiola web camera
- PlantUML常用命令笔记