1. Ingest node

Ingest node是elasticsearch的节点类型之一，通过在Ingest node配置pipeline管道，可以在文档存入索引之前对文档进行预处理。例如：删除字段，重命名字段，修改字段值等等。

默认情况下，所有节点都是Ingest Node，可以通过修改elasticsearch.yml，把node.ingest改成false来关闭

node.ingest: false

要实现索引文档之前进行预处理，需要先定义一个管道（pipeline），每个pipeline包含一个或多个处理器（processor），具体的数据处理功能由processor实现。

2. Pipeline

2.1 创建Pipeline

Elasticsearch 摄取节点(Ingest Node)使用Pipeline预处理文档相关推荐

Elasticsearch 摄取节点(Ingest Node)常用的数据处理器(Processor)
文章目录 Set Processor Append Processor Remove Processor Rename Processor Convert Processor Grok Process ...
filebeat收集日志到elsticsearch中并使用ingest node的pipeline处理
filebeat收集日志到elsticsearch中一.需求二.实现 1.filebeat.yml 配置文件的编写 2.创建自定义的索引模板 3.加密连接到es用户的密码 1.创建keystore ...
Elasticsearch——分布式搜索引擎01（索引库、文档、RestAPI、RestClient、拼音分词器、IK分词器）
Elasticsearch--分布式搜索引擎01(索引库.文档.RestAPI.RestClient.拼音分词器.IK分词器) 一.初识 elesticsearch 1.1 简介 1.2 倒排索引(重 ...
Elasticsearch摄取节点（三）——管道处理器（Processor）介绍
管道处理器之前介绍摄取节点的管道.而管道中具体的处理逻辑取决于其处理.目前在7.X版本中一共存在三十二个不同的处理器.处理两个属于X-Pack的一共是三十个目前存在的管道处理器管道处理器处理器 ...
Node.js API参考文档（目录）
Node.js v11.5.0 API参考文档 Node.js®是基于Chrome的V8 JavaScript引擎构建的JavaScript运行时. 关于文档用法和示例断言测试稳定性:2 - 稳 ...
ElasticSearch学习笔记(二)—结构了解和索引文档增删改
前面学习了ElasticSearch的概况以及一些配套插件的安装.这篇旨在记录对ES结构的了解和一些基本的操作. ElasticSearch结构: 对于ES来说,有几个专有名词.比如索引,类型,id这 ...
Elasticsearch技术解析与实战（二）文档的CRUD操作
启动Elasticsearch和kibana 访问Elasticsearch:http://localhost:9200/?pretty 访问kibana:http://localhost:5601 ...
【ElasticSearch】ElasticSearch 嵌套查询：如何搜索嵌入的文档
1.概述翻译:https://www.bmc.com/blogs/elasticsearch-nested-searches-embedded-documents/ ElasticSearch 有时 ...
【Elasticsearch】我们如何在 5 天内在同一个 Elasticsearch 集群中重新索引 360 亿份文档
1.概述翻译:https://thoughts.t37.net/how-we-reindexed-36-billions-documents-in-5-days-within-the-same-el ...

Elasticsearch 摄取节点(Ingest Node)使用Pipeline预处理文档

1. Ingest node

2. Pipeline

2.1 创建Pipeline

Elasticsearch 摄取节点(Ingest Node)使用Pipeline预处理文档相关推荐

最新文章

热门文章