Logstash配置文件

[root@test ~]# vim useTime.conf

input {

    stdin{}

}

filter {

    grok {

        match => {

            "message" => "\s+(?<API>调用.*(用时|异常)).*useTime=(?<request_time>\d+?)$"

        }

    }

}

output {

    stdout{

        codec => rubydebug

    }

elasticsearch {

        hosts => ["192.168.81.128:9200"]

        index => "logstash-%{type}-%{+YYYY.MM.dd}"

        document_type => "%{type}"

        workers => 1

        template_overwrite => true

    }

}

[root@test ~]#

 

测试对应的日志

[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)用时,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=251

[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)异常,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=2510

 

测试结果

[root@test ~]# /opt/logstash-2.3.4/bin/logstash -f useTime.conf

Settings: Default pipeline workers: 1

Pipeline main started

[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)用时,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=251

{

         "message" => "[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)用时,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=251",

        "@version" => "1",

      "@timestamp" => "2016-07-31T01:28:26.910Z",

            "host" => "0.0.0.0",

             "API" => "调用gz(广州银行)用时",

    "request_time" => "251"

}

[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)异常,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=2510

{

         "message" => "[07/29 00:01:17] [INFO] `B10005-15` impl.GzClientServiceImpl.exec:234 - 调用gz(广州银行)异常,URL=http://172.31.8.122:7040/corbankexpress/httpAccess,useTime=2510",

        "@version" => "1",

      "@timestamp" => "2016-07-31T01:28:47.205Z",

            "host" => "0.0.0.0",

             "API" => "调用gz(广州银行)异常",

    "request_time" => "2510"

}

查看elasticsearch状态

Over !!

转载于:https://blog.51cto.com/cexpert/1832265

Logstash输出日志到elasticsearch相关推荐

  1. logStash收集日志并存储到Elasticsearch

    为什么80%的码农都做不了架构师?>>>    上一节说道如何用logStash收集日志,结合Elasticsearch 进行日志收集和存储 logStash配置如下 input { ...

  2. 使用Filebeat采集日志结合logstash过滤出特定格式的日志至Elasticsearch

    使用Filebeat采集日志结合logstash过滤出特定格式的日志 文章目录 使用Filebeat采集日志结合logstash过滤出特定格式的日志 ELK搭建 什么是Filebeat 什么是Logs ...

  3. 基于logstash实现日志文件同步elasticsearch

    更多编程教程请到:菜鸟教程 https://www.piaodoo.com/ 友情链接: 高州阳光论坛https://www.hnthzk.com/ 人人影视http://www.op-kg.com/ ...

  4. ELK 使用filebeat替代Logstash收集日志

    使用beats采集日志 之前也介绍过beats是ELK体系中新增的一个工具,它属于一个轻量的日志采集器,以上我们使用的日志采集工具是logstash,但是logstash占用的资源比较大,没有beat ...

  5. Spring Boot 使用 Log4j2 Logback 输出日志到 EKL

    文章目录 1.ELK 介绍 2.环境.软件准备 3.ELK 环境搭建 4.Spring Boot 配置示例 4.1.Log4j2 方式配置 4.2.Logback 方式配置 1.ELK 介绍 ELK ...

  6. 大数据——Logstash(日志收集)

    Logstash(日志收集) ELK Stack Logstash简介 安装Logstash Logstash如何工作 Logstash配置语法(一) Logstash配置语法(二) 输入插件 编解码 ...

  7. Logstash 分布式日志管理

    背景 日常部署服务时,为了达到 High Available 或是 Load Balance 的目的,经常会在多个服务器部署多个服务实例.不同实例的日志一般都是直接写入本地的日志文件中,一旦出现问题或 ...

  8. 2021年大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch

    全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...

  9. ELKStack入门篇(三)之logstash收集日志写入redis

    1.部署Redis 1.1.下载redis [root@linux-node2 ~]# wget http://download.redis.io/releases/redis-4.0.6.tar.g ...

最新文章

  1. [编程题]数字分类 (20)
  2. Sass学习笔记(一)
  3. 慕课网:SpringBoot+MyBatis搭建迷你小程序
  4. zabbix 监控项自动发现过滤_通过Zabbix的自动发现(规则)自动创建监控项
  5. Java黑皮书课后题第10章:**10.23(实现String类)在Java库中提供了String类,给出你自己对下面方法的实现(将新类命名为MyString2)
  6. C++ 标准文件的写入读出(ifstream,ofstream)
  7. 《C++之那些年踩过的坑(附录一)》
  8. 依赖 netty spring_面试官:如何写好一个 Spring 组件?懵圈!
  9. ArcMAP TIN与栅格DEM的坡度坡向对比分析
  10. 【Python】实现商品信息管理系统(界面版,附带数据库)
  11. diabetes影响因子2017_【重磅】2017 年内分泌领域 SCI 期刊影响因子出炉
  12. python求三角形斜边-python 已知三条边求三角形的角度案例
  13. oce专项认证 oracle_Oracle Certification Program | Oracle 中国
  14. 裸金属服务器内容讲解以及介绍
  15. 相识-相知-相亲-娶亲-享受
  16. 干货|app自动化测试之Appium 原理 与 JsonWP 协议分析
  17. 【考研英语语法】冠词练习题
  18. 小忽视大问题:4.8通过 Apple 登录
  19. Mobiola web camera Mobiola web camera
  20. PlantUML常用命令笔记

热门文章

  1. Exchange Server 2003多服务器安装以及管理工具介绍
  2. 《数据挖掘导论》实验课——实验一、数据处理之Numpy
  3. CSS实用方法 —— 三角形的编写
  4. MaxCompute(原ODPS) 脑图 - 常用知识总结
  5. 使用iText库创建PDF文件
  6. Centos下 安装和测试kafka
  7. ExtJS(3)- 自定义组件(星级评分)
  8. 关于Installshield里一些常见问题的解答—艾泽拉斯之海洋女神出品
  9. 一文读懂比特币现金(BCH)
  10. BCH将于9月1日进行压力测试