需求:input为json,output为ES,需使用filter提取json中的某个字段,并执行加法、加法、乘法等算法操作

思路:mutate过滤器+ruby过滤器实现

避坑:根据ES及Logstash版本 参考官网API

配置:

input

{"timestamp": 1538545228,"rect_id": 205,"serial_no":"OSDC5W9O","location_id":"214_332_123","device_item_id": 113,"device_id": 13,"tenant_id": 2324,"mac_address": "sd3lk2l4l2b4","slave_id": "004","iot_id":"8bf6f72267d951cb87ffd72f982959e1","metric": {"device_status": 0,"g_sensor": 0,"weight": 420,"humidity": 50,"env_temp": 50,"pig_temp": 45,"sow_action": 3,"boar_action": 3,"distance_1": 120,"distance_2": 100,"distance_vertical": 80,"NH3": 0.05,"CO2": 0.1,"illumination": 8.1}}

output

{"timestamp" => 1538582828,"rect_id" => 200,"device_id" => 13,"@version" => "1","tenant_id" => 2324,"device_item_id" => 113,"@timestamp" => 2018-10-05T00:45:39.857Z,"iot_id" => "8bf6f72267d951cb87ffd72f982959e1","type" => "logstash-kafka","metric" => {"device_status" => 0,"g_sensor" => 0,"humidity" => 50,"distance_1" => 120,"weight" => 420,"pig_temp" => 45,"sow_action" => 3,"boar_action" => 3,"distance_vertical" => 80,"CO2" => 0.1,"illumination" => 8.1,"distance_2" => 100,"env_temp" => 50,"NH3" => 0.05},"serial_no" => "OSDC5W9O","mac_address" => "sd3lk2l4l2b4","location_id" => "214_332_123","timestamp_origin" => 1538554028,"slave_id" => "004"
}

input {kafka {bootstrap_servers => ["xxxxxx:9092,xxxxxx:9092"] #替换为自己的Kafka集群地址client_id => "logstash-172.19.100.180"group_id => "logstash-dev"auto_offset_reset => "latest" #smallestconsumer_threads => 5decorate_events => truetopics => ["zds-iot-topic"]type => "logstash-kafka"codec => "json"}
}
filter {if [type] == "logstash-kafka" {mutate {copy => { "timestamp" => "timestamp_origin" }}# Add 8 hoursruby {code => "event.set('timestamp', event.get('timestamp').to_i + 28800)"}}
}output {if [type] == "java_log" {elasticsearch {hosts => ["xx.xx.xx.xx:9200"]index => "javaapp_log_index"}}if [type] == "logstash-kafka" {elasticsearch {hosts => ["xx.xx.xx.xx:9200"]index => "iot_data"document_type => "sensor"}}stdout { }
}

转载于:https://www.cnblogs.com/stevensfollower/p/9744148.html

Logstash 算术运算操作相关推荐

  1. Python+OpenCV 图像处理系列(4)—— 图像像素的读写、算术运算、逻辑运算及像素的统计

    1. 像素的读写 可以根据像素的行和列的坐标获取它的像素值.对 BGR 图像而言,返回值为 B,G,R 的值. img.shape 可以获取图像的形状.它的返回值是一个包含行数 h,列数 w,通道数 ...

  2. OpenCV_008-OpenCV 中的图像算术运算

    本文主要内容来自于 OpenCV-Python 教程 的 核心操作 部分,这个部分的主要内容如下: 图像的基本操作 学习读取和编辑像素值,使用图像 ROI 和其它的基本操作. 图像的算术运算 对图像执 ...

  3. 计算机系统基础实验01运算器算术运算

    计算机系统基础 运算器算术运算 实验目的 掌握ALU的算术运算原理,熟悉ALU数据传送通路和数据传送方式. 实验环境 微机,配置Windows操作系统.LC-3仿真机软件. 实验内容 ALU数据传送通 ...

  4. LLVM系列第八章:算术运算语句Arithmetic Statement

    系列文章目录 LLVM系列第一章:编译LLVM源码 LLVM系列第二章:模块Module LLVM系列第三章:函数Function LLVM系列第四章:逻辑代码块Block LLVM系列第五章:全局变 ...

  5. logstash收集windows eventlog

    ==============================logstash收集windows eventlog=================================== windows下 ...

  6. Hive最新数据操作详解(超级详细)

    数据操作能力是大数据分析至关重要的能力.数据操作主要包括:更改(exchange),移动(moving),排序(sorting),转换(transforming).Hive提供了诸多查询语句,关键 ...

  7. Pandas入门教程

    pandas是基于NumPy的一种数据分析工具,在机器学习任务中,我们首先需要对数据进行清洗和编辑等工作,pandas库大大简化了我们的工作量,熟练并掌握pandas常规用法是正确构建机器学习模型的第 ...

  8. 8086汇编语言命令速查与详解

    http://note.sdo.com/u/1729301760/n/D4MQ0~jJXgEpnM0sI000Gx 汇编语言命令速查 一.数据传输指令 ──────────────────────── ...

  9. bool类型返回值_Python 到底是强类型语言,还是弱类型语言?

    推荐三个网站 1.Python进阶知识: http://python.iswbm.com  2.Python魔法技巧: http://magic.iswbm.com 3.PyCharm 手册: htt ...

最新文章

  1. C语言写一函数交换两变量的值
  2. 越是富人,越重视子女教育
  3. php cms帮助文档,phpcms手册
  4. Socket,非阻塞,fcntl
  5. 【直播讲座】用友摩天联合光环国际,听国学学项目管理
  6. 【c++ primer读书笔记】【第2章】变量和基本类型
  7. java线程cpu 1000_CPU突然飙升到300%,Dubbo活动线程数直接飙到1000
  8. 谷歌大脑提出gMLP:请多多关注MLP
  9. Android实战 - 音心音乐播放器 (开启篇)
  10. 计算机休眠期死机,电脑休眠状态频繁死机怎么处理
  11. unity overrideSprite的使用
  12. 9月28日科技资讯|华为发布全容器化 5G 核心网;余承东评小米 MIX Aphla 手机无实用价值;PHP 新版本更新
  13. 玩一玩Android下载框架
  14. SpringCloud学习笔记3:Spring Cloud Netflix 组件(五大神兽)
  15. 张钹院士:第三代人工智能的特点、发展现状及未来趋势
  16. SAS 9.4 的超详细安装过程(保姆级教程)(含安装包+常见问题解决)
  17. 东锦核心品类推动东锦发展
  18. 用python爬取基金网信息数据,保存到表格,并做成四种简单可视化。(爬虫之路,永无止境!)
  19. Mifare One 非接触式IC卡介绍
  20. 程序员最新赚钱指南!

热门文章

  1. Android问题集锦之三十一:Android Studio: Plugin with id 'android-library' not found
  2. golang interface 类型变量当作某个具体类型使用
  3. 集赞转发送大礼 有赞你就来
  4. Linux字体关联到wine中,Wine的中文显示与字体设置
  5. JAVA编程-----猜姓氏游戏
  6. 赵小楼《天道》《遥远的救世主》解读(12)丁元英操盘私募基金这事
  7. 奇妙而又有趣的密码学
  8. CCPC-Wannafly Winter Camp Day1 自闭总结
  9. 如何充实地度过大学四年?
  10. 对话印奇:我们所坚持的不会改变,旷视跳出企业科研“周期律”