ElasticSearch的Ingest节点

2019独角兽企业重金招聘Python工程师标准>>>

ElasticSearch的ingest节点用来在真正对文档进行索引之前做预处理。

所有的节点都是默认支持ingest的，任何节点都可以处理ingest请求，也可以创建一个专门的Ingest nodes。可以通过在elasticsearch.yml文件中添加如下配置关闭节点上的ingest功能：

node.ingest: false

为了在真正对文档进行索引之前对文件进行预处理，通过定义包含了多个process的pipeline来实现。每个process实现了对文档的某种转换，如移除某个字段，重命名某个字段等。

要使用某个pipeline，只需要在请求中简单的指定pipeline的id就可以了：

PUT my-index/_doc/my-id?pipeline=my_pipeline_id
{"foo": "bar"
}

可以通过ingest API来定义pipeline

PUT _ingest/pipeline/my-pipeline-id
{"description" : "describe pipeline","processors" : [{"set" : {"field": "foo","value": "bar"}}]
}

其他pipeline操作，simulate是指对请求的文档进行同时操作

GET _ingest/pipeline/my-pipeline-idDELETE _ingest/pipeline/my-pipeline-id//对下面的dcos进行pipeline操作，pipeline是该simulate请求里面提供的
POST _ingest/pipeline/_simulate
{"pipeline" : {// pipeline definition here},"docs" : [{ "_source": {/** first document **/} },{ "_source": {/** second document **/} },// ...]
}//对下面的dcos进行pipeline操作，pipeline是已经存在的
POST _ingest/pipeline/my-pipeline-id/_simulate
{"docs" : [{ "_source": {/** first document **/} },{ "_source": {/** second document **/} },// ...]
}

pipeline里面主要包含2部分，一部分是描述，另外就是process。

process有多种： append, Convert ,Data, Data Index Name, Fail,Foreach,Grok,Gsub,Join,Json,KV, Lowercase, Remove, Rename, Script,Set,Split,Sort,Trim, Uppercase , Dot Expander, URL Decode, 用户也可以定制自己的process，但定制的process需要安装到所有节点上。

转载于:https://my.oschina.net/u/2449787/blog/1635255

ElasticSearch的Ingest节点相关推荐

【Elasticsearch】es Ingest 节点
1.概述 1.1 问题引出来自星球同学的提问: "Ingest node什么场景会遇到它? 一直没搜到它是在什么场景工作的?" 的确我们比较关心集群的节点角色的划分.包括: 集群 ...
Elasticsearch的ETL利器——Ingest节点
Elasticsearch 最少必要知识实战教程直播回放 1.问题引出来自星球同学的提问: "Ingest node什么场景会遇到它? 一直没搜到它是在什么场景工作的?" 的确我 ...
Elastic：我应该使用 Logstash 或是 Elasticsearch ingest 节点?
在写这篇文章之前,我也是不是很清楚,感觉 Elasticsearch 的 ingest node 的功能越来越强大.在一次聚会上,我的一个同事也告诉我现在使用 ingest node 在社区里越来越普 ...
Elasticsearch：如何使用 Elasticsearch ingest 节点来丰富日志和指标
当导入数据到Elasticsearch中时,用其他信息丰富文档通常是有益的,这些信息以后可用于搜索或查看数据.丰富化是将权威来源的数据合并到文档中的过程,这些数据被摄入到 Elasticsearch ...
Elasticsearch：Ingest pipeline 介绍
Ingest pipeline 可让你在索引之前对数据执行常见转换. 例如,你可以使用 pipeline 删除字段.从文本中提取值并丰富你的数据. Pipeline 由一系列称为处理器(process ...
Elasticsearch：ingest pipeline 使用示例 - 解析常用日志格式
在本示例教程中,你将在索引之前使用 ingest pipeline 以通用日志格式解析服务器日志. 在开始之前,请检查摄取管道的先决条件. 你要解析的日志类似于以下内容: 127.0.0.1 user ...
干货 | Elasticsearch 8.X 节点角色划分深入详解
0.问题引出如果你的 Elasticsearch 集群是 7.9 之前的版本,在配置节点的时候,只会涉及节点类型的概念.我相信大家会对下面的概念比较熟悉: 主节点数据节点协调节点 Ingest ...
【Elasticsearch】ELASTICSEARCH集群节点的扩容（移除与添加）
1.概述转载:ELASTICSEARCH集群节点的扩容(移除与添加) 0x01 前言我的elasticsearch集群在刚建立之初只是想用于测试,所以每个节点只有300G的磁盘空间.但后来用在我自 ...
Elasticsearch 平滑下线节点实践指南
在 Elasticsearch 日常运维中,有时候要对集群的某一个节点进行下线.上线操作,比如增加磁盘,扩展内存,版本升级,或节点回收等.本文就根据近期的一次生产实践,梳理如何实现 Elasticse ...

ElasticSearch的Ingest节点

ElasticSearch的Ingest节点相关推荐

最新文章

热门文章