Logstash 算术运算操作
需求:input为json,output为ES,需使用filter提取json中的某个字段,并执行加法、加法、乘法等算法操作
思路:mutate过滤器+ruby过滤器实现
避坑:根据ES及Logstash版本 参考官网API
配置:
input
{"timestamp": 1538545228,"rect_id": 205,"serial_no":"OSDC5W9O","location_id":"214_332_123","device_item_id": 113,"device_id": 13,"tenant_id": 2324,"mac_address": "sd3lk2l4l2b4","slave_id": "004","iot_id":"8bf6f72267d951cb87ffd72f982959e1","metric": {"device_status": 0,"g_sensor": 0,"weight": 420,"humidity": 50,"env_temp": 50,"pig_temp": 45,"sow_action": 3,"boar_action": 3,"distance_1": 120,"distance_2": 100,"distance_vertical": 80,"NH3": 0.05,"CO2": 0.1,"illumination": 8.1}}
output
{"timestamp" => 1538582828,"rect_id" => 200,"device_id" => 13,"@version" => "1","tenant_id" => 2324,"device_item_id" => 113,"@timestamp" => 2018-10-05T00:45:39.857Z,"iot_id" => "8bf6f72267d951cb87ffd72f982959e1","type" => "logstash-kafka","metric" => {"device_status" => 0,"g_sensor" => 0,"humidity" => 50,"distance_1" => 120,"weight" => 420,"pig_temp" => 45,"sow_action" => 3,"boar_action" => 3,"distance_vertical" => 80,"CO2" => 0.1,"illumination" => 8.1,"distance_2" => 100,"env_temp" => 50,"NH3" => 0.05},"serial_no" => "OSDC5W9O","mac_address" => "sd3lk2l4l2b4","location_id" => "214_332_123","timestamp_origin" => 1538554028,"slave_id" => "004" }
input {kafka {bootstrap_servers => ["xxxxxx:9092,xxxxxx:9092"] #替换为自己的Kafka集群地址client_id => "logstash-172.19.100.180"group_id => "logstash-dev"auto_offset_reset => "latest" #smallestconsumer_threads => 5decorate_events => truetopics => ["zds-iot-topic"]type => "logstash-kafka"codec => "json"} } filter {if [type] == "logstash-kafka" {mutate {copy => { "timestamp" => "timestamp_origin" }}# Add 8 hoursruby {code => "event.set('timestamp', event.get('timestamp').to_i + 28800)"}} }output {if [type] == "java_log" {elasticsearch {hosts => ["xx.xx.xx.xx:9200"]index => "javaapp_log_index"}}if [type] == "logstash-kafka" {elasticsearch {hosts => ["xx.xx.xx.xx:9200"]index => "iot_data"document_type => "sensor"}}stdout { } }
转载于:https://www.cnblogs.com/stevensfollower/p/9744148.html
Logstash 算术运算操作相关推荐
- Python+OpenCV 图像处理系列(4)—— 图像像素的读写、算术运算、逻辑运算及像素的统计
1. 像素的读写 可以根据像素的行和列的坐标获取它的像素值.对 BGR 图像而言,返回值为 B,G,R 的值. img.shape 可以获取图像的形状.它的返回值是一个包含行数 h,列数 w,通道数 ...
- OpenCV_008-OpenCV 中的图像算术运算
本文主要内容来自于 OpenCV-Python 教程 的 核心操作 部分,这个部分的主要内容如下: 图像的基本操作 学习读取和编辑像素值,使用图像 ROI 和其它的基本操作. 图像的算术运算 对图像执 ...
- 计算机系统基础实验01运算器算术运算
计算机系统基础 运算器算术运算 实验目的 掌握ALU的算术运算原理,熟悉ALU数据传送通路和数据传送方式. 实验环境 微机,配置Windows操作系统.LC-3仿真机软件. 实验内容 ALU数据传送通 ...
- LLVM系列第八章:算术运算语句Arithmetic Statement
系列文章目录 LLVM系列第一章:编译LLVM源码 LLVM系列第二章:模块Module LLVM系列第三章:函数Function LLVM系列第四章:逻辑代码块Block LLVM系列第五章:全局变 ...
- logstash收集windows eventlog
==============================logstash收集windows eventlog=================================== windows下 ...
- Hive最新数据操作详解(超级详细)
数据操作能力是大数据分析至关重要的能力.数据操作主要包括:更改(exchange),移动(moving),排序(sorting),转换(transforming).Hive提供了诸多查询语句,关键 ...
- Pandas入门教程
pandas是基于NumPy的一种数据分析工具,在机器学习任务中,我们首先需要对数据进行清洗和编辑等工作,pandas库大大简化了我们的工作量,熟练并掌握pandas常规用法是正确构建机器学习模型的第 ...
- 8086汇编语言命令速查与详解
http://note.sdo.com/u/1729301760/n/D4MQ0~jJXgEpnM0sI000Gx 汇编语言命令速查 一.数据传输指令 ──────────────────────── ...
- bool类型返回值_Python 到底是强类型语言,还是弱类型语言?
推荐三个网站 1.Python进阶知识: http://python.iswbm.com 2.Python魔法技巧: http://magic.iswbm.com 3.PyCharm 手册: htt ...
最新文章
- C语言写一函数交换两变量的值
- 越是富人,越重视子女教育
- php cms帮助文档,phpcms手册
- Socket,非阻塞,fcntl
- 【直播讲座】用友摩天联合光环国际,听国学学项目管理
- 【c++ primer读书笔记】【第2章】变量和基本类型
- java线程cpu 1000_CPU突然飙升到300%,Dubbo活动线程数直接飙到1000
- 谷歌大脑提出gMLP:请多多关注MLP
- Android实战 - 音心音乐播放器 (开启篇)
- 计算机休眠期死机,电脑休眠状态频繁死机怎么处理
- unity overrideSprite的使用
- 9月28日科技资讯|华为发布全容器化 5G 核心网;余承东评小米 MIX Aphla 手机无实用价值;PHP 新版本更新
- 玩一玩Android下载框架
- SpringCloud学习笔记3:Spring Cloud Netflix 组件(五大神兽)
- 张钹院士:第三代人工智能的特点、发展现状及未来趋势
- SAS 9.4 的超详细安装过程(保姆级教程)(含安装包+常见问题解决)
- 东锦核心品类推动东锦发展
- 用python爬取基金网信息数据,保存到表格,并做成四种简单可视化。(爬虫之路,永无止境!)
- Mifare One 非接触式IC卡介绍
- 程序员最新赚钱指南!
热门文章
- Android问题集锦之三十一:Android Studio: Plugin with id 'android-library' not found
- golang interface 类型变量当作某个具体类型使用
- 集赞转发送大礼 有赞你就来
- Linux字体关联到wine中,Wine的中文显示与字体设置
- JAVA编程-----猜姓氏游戏
- 赵小楼《天道》《遥远的救世主》解读(12)丁元英操盘私募基金这事
- 奇妙而又有趣的密码学
- CCPC-Wannafly Winter Camp Day1 自闭总结
- 如何充实地度过大学四年?
- 对话印奇:我们所坚持的不会改变,旷视跳出企业科研“周期律”