Elasticsearch实践(一)基本概念

elasticsearch是一个分布式的、可扩展的、提供restful风格服务的搜索引擎、数据分析引擎。基于Apache Lucene实现

Elasticsearch是一个高度可扩展的，开源的全文搜索和分析引擎，能帮助您快速的、接近实时的存储、搜索和分析大量的数据，通常被当做底层的技术引擎，为需要复杂搜索功能的应用提供下层支持。

Elasticsearch用来做什么？

解决数据的存储，搜索，分析方面的问题。为应用提供接近实时的搜索、分析服务。

下面是一些简单的使用场景：

网上商城，客户需要搜索商品，这种情况下，使用elasticsearch存储所有商品的数据和库存，给客户提供搜索和自动填充建议。
数据分析，收集日志或交易数据，分析和挖掘数据查找消费趋势，统计信息，摘要，异常。在这种情况下，可以使用logstash（Elasticsearch/Logstash/Kibana）堆栈的一部分，来收集，聚合，解析数据，然后logstash将数据提供给elasticsearch，一旦数据存储在了elasticsearch中，可以使用搜索和聚合来挖掘需要的信息。
价格报警平台，客户指定一条价格规则，如“某个商品降价低于￥10后通知我”，这个时候，可以刮取所有提供这个商品的供应商的价格，将其推入elasticsearch，并使用es提供的reverse-search (Percolator) 来匹配价格和客户，并最终发现匹配后，将警报推送给用户。
在大量数据上（数十亿记录）快速调查、分析并可视化特定问题，可以使用Elasticsearch存储数据，使用Kibana构建自定义仪表盘，来可视化重要数据。此外，还可以使用Elasticsearch的聚合功能，针对数据执行复杂的商业智能查询。

基本概念

NRT，（Near RealTime）

准实时，ElasticSearch是一个准实时的搜索平台，并不是一个实时的搜索平台，从索引文档到可搜索文档，大概有1秒的延迟。

集群

集群是一个或者多个服务器节点的集合，他们共同保存整个ElasticSearch的数据，提供跨所有节点的联合索引和搜索功能，集群有唯一标识的名称，默认情况下为“elasticsearch”，这个名称很重要，因为如果节点设置为按照名称加入集群，则该节点只是集群的一部分。

确保不要在不通的环境中，重用相同的集群名称，否则最终会导致节点加入错误的集群。例如，可以用logging-dev，logging-test和logging-pro用于标记不同的集群名称，用户开发、测试、生产集群。实际中一个集群可以直接一个节点，也可以有多个集群。

节点

集群的一个单个服务器，存储数据并参与集群的索引和搜索功能，就像集群一样，节点由名称标识，默认情况下，名称是在启动时分配给节点的随机通用唯一标识符（UUID），如果不使用默认值，可以定义节点名称。名称对于管理Elasticsearch集群中的那些节点与那些服务器对应非常重要。

可以将节点配置为按照名称加入集群，默认配置下，每个节点都配置为加入名称为elasticsearch的集群。这样，如果网络上启动了许多节点，且他们之间的网络是通的，这些节点自行组成并加入名称为elasticsearch的单个集群。

在单个集群中，可以拥有任意数量的节点。此外，如果当前网络上没有其他节点运行，默认情况下，启动单个节点，将形成名称为elasticsearch的新单节点集群。

索引

索引是具有某些类似特征的文档集合。例如，可以有客户数据的索引，产品目录的索引，订单数据的索引。索引由名称标识（全部小写），此名称涉及索引中的文档的执行索引，搜索，更新和删除操作。

在单个集群中，可以根据需要，定义任意数量的索引。

Type

在6.0.0以前的版本中，type是索引的逻辑类别，或者称为分区，也就是在同一索引中存储不通类型的文档。例如一种用户类型文档，一种帖子类型的文档。现在6.0.0及以上版本已经不支持在索引中创建多个类型，并且在更高版本中删除类型的概念。

文档

文档是可以索引的基本信息单元。例如：可以为单个客户提供文档，为单个产品提供另一种文档，为单个订单提供又一种文档，文档以JSON标识。

在index/type中，可以根据需要存储任意数量的文档。请注意，尽管文档实际上驻留在索引中，但实际上必须将文档编入索引，并分配给索引中的type。

分片/副本

索引可能存储超过单个节点的硬件限制的数据，例如占用1TB磁盘空间的10亿个文档的单个索引，可能不适合在单个节点的磁盘，或者可能太慢而无法单独从单个节点请求搜索数据。

为了解决这个问题，ElasticSearch提供了将索引细分为多个分片的功能，创建索引时只需定义所需的分片数即可。每个分片本身都是一个功能齐全且独立的“索引”，可以托管在集群的任何节点上。

分片很重要，主要有两点原因：

可以支持水平拆分容量
可以支持跨节点，跨分片的分布式和并行操作，从而提高性能和吞吐量。

分片的分布方式、如何将分布的文档合并并返回的机制都是ElasticSearch来完全管理的，对于用户是透明的。

在网络和云环境中，故障随时都可能发生，为了防止分片/节点因为任何原因脱机或者不可用，ElasticSearch提供了故障转移机制，可以将索引的分片制作一个或多个副本分片，简称副本。

副本很重要，主要有一下两个原因：

副本提供了分片/节点发生故障时提供了高可用性。因此，注意分片副本永远不要和原始分片在一个节点上。
副本的存在可以扩展搜索量和吞吐量，因为可以在所有副本上并行执行搜索。

总而言之，每个索引可以拆分成多个分片，索引也可以被复制0次或多次，一旦复制，每个索引都将具有主分片（从中复制的原始分片）和副本分片（主分片的副本）

可以在创建索引的时候，为每个索引自定义分片和副本的数量。创建索引后，您还可以随时动态的更改副本数。可以使用_shrink和_split API更改现有索引的分片数，但这不是一项简单的任务，预先计划正确数量的分片是最佳方法。

默认情况下，ElasticSearch中的每个索引都分配了5个主分片和1个副本，这意味着如果集群中至少有两个节点，则索引包含5个主分片和另外5个副本分片，总计为每个索引10个分片。

每个ElasticSearch的分片都是Lucene索引，单个Lucene索引中包含的最大数量的文档。自LUCENE-5843起，限制为2147483519（= Integer.MAX_VALUE - 128）个文件。您可以使用_cat/shards API监视分片大小。

Elasticsearch与关系数据库的概念对比

关系数据库-------->数据库---------->表----------->行----------->列

Elasticsearch----->索引-------------->类型--------->文档-------->字段

了解了基本概念，然后开始安装并使用。

Elasticsearch实践(一)基本概念相关推荐

2021年大数据ELK（五）：Elasticsearch中的核心概念
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Elasticsearch中的核心概念一.索引 index 二 ...
ElasticSearch 2 (7) - 基本概念
ElasticSearch 2 (7) - 基本概念摘要 ElasticSearch的一些基本核心概念,理解这些概念有助于ElasticSearch的学习准实时NRT(Near Realtime) ...
ElasticSearch---------------------step2，了解elasticsearch相关的基本概念
elasticsearch相关的基本概念第一部分 cluster.node.index.type.document.shards.replicas cluster 是一系列Node(server)的 ...
第三百六十节，Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)的基本概念...
第三百六十节,Python分布式爬虫打造搜索引擎Scrapy精讲-elasticsearch(搜索引擎)的基本概念 elasticsearch的基本概念 1.集群:一个或者多个节点组织在一起 2.节点 ...
Elasticsearch实践（二）在Springboot微服务中集成搜索服务
关于如何用Docker搭建Elasticsearch集群环境可以参考前一篇:Elasticsearch实践(一)用Docker搭建Elasticsearch集群.本文主要介绍,如果在Springboo ...
Elasticsearch 1: 基本原理和概念
目录 1. 倒排索引 Inverted index 2. 基本概念 3. Elasticsearch索引 4. 文档 (Document) 5. 映射 6. 文档字段 6.1 数据类型 6.1.1 核 ...
Elasticsearch（二）概念及安装、部署
跟部署有关的几个名词先介绍一下: node 节点是一个es实例,一台机器可以运行多个实例,但是同一台机器上的实例在配置文件中要确保http和tcp端口不同:一般一个机器只部署一个 cluster 代表 ...
15分钟掌握Elasticsearch 8大核心概念与基础用法
Elastic已经形成了一个较为庞大的生态,这个生态的核心就是Elasticsearch.初学者的重点就是如何快速地了解并使用Elasticsearch,本文总结了Elasticsearch的8大核心 ...
【数据篇】SpringBoot 整合 Elasticsearch 实践数据搜索引擎
写在最前 Elasticsearch 入门必读 Docker安装ELK Spring Data Elasticsearch 参考文档版本选择 Spring Data Release Train Sp ...

Elasticsearch实践(一)基本概念

Elasticsearch实践(一)基本概念相关推荐

最新文章

热门文章