文章目录

简介
- ElasticSearch
- Kibana
安装
- 问题与解决
使用
- 基本概念
- 索引
- - 创建索引
  - 查询索引
  - 删除索引
- 映射配置
- - 创建映射字段
  - - type
- 新增数据
- 修改数据
- 删除数据
- 查询数据
- - 查询所有
  - 匹配查询
  - 多字段查询
  - 精确匹配
  - 多词条精确匹配
  - 布尔查询
  - 模糊查询
  - 范围查询
- 查询过滤
- - 直接指定
  - 包含与不包含
  - 非条件过滤
- 查询
- - 单字段排序
  - 多字段排序
- 聚合
- - 桶
  - 度量
  - 使用
  - - 聚合为桶
    - 桶内度量

简介

ElasticSearch

Elasticsearch是一个分布式的RESTful风格的搜索和数据分析引擎。有以下优点：

Restful风格，一切API都遵循Rest原则，容易上手
近实时搜索，数据更新在Elasticsearch中几乎是完全同步的。

Kibana

Kibana是一个基于Node.js的Elasticsearch索引库数据统计工具
可以利用Elasticsearch的聚合功能，生成各种图表，如柱形图，线状图，饼图等。
而且还提供了操作Elasticsearch索引数据的控制台，并且提供了一定的API提示，非常有利于我们学习Elasticsearch的语法

安装

问题与解决

刚开始安装的elasticsearch与kibana都是6.3.0.但是elasticsearch出现闪退的问题。
按照网上的解决办法修改了一些配置还是不行，就把elasticsearch换成了7.14.0。
闪退问题解决了，但是登录到kibana之后提示版本问题。
再次查询发现在windows下使用kibana，与elasticsearch的版本保持一致。
于是又重新安装kibana到7.14.0版本。

使用

基本概念

数据库：索引库
类型：表格
列：字段
行：文档
映射配置：是否索引、是否存储、字段数据类型等。
【注意】：elasticsearch默认对数据进行分片和副本操作，添加数据的时候自动进行负载均衡。
Elasticsearch在创建文档索引时，会将文档中的原始数据备份，保存到一个叫做_source的属性中。而且我们可以通过storage过滤_source来选择哪些要备份。

索引

创建索引

请求方式：PUT
请求路径：/索引库名
请求参数：json格式

  {"settings": {"number_of_shards": 3,"number_of_replicas": 2}}

settings：索引库的设置
number_of_shards：分片数量
number_of_replicas：副本数量

查询索引

GET /索引库名

删除索引

DELETE /索引库名

映射配置

添加数据之前必须定义映射。

创建映射字段

PUT /索引库名/_mapping/类型名称
{"properties": {"字段名": {"type": "类型","index": true，"store": true，"analyzer": "分词器"}}
}

properties：相当于表名。类型名称。
字段名：相当于列名，有多个。
type：类型，可以是text、long、short、date、integer、object等
index：是否索引，默认为true
store：是否存储，默认为false
analyzer：分词器，这里的ik_max_word即使用ik分词器

type

String类型，又分两种：
text：可分词，不可参与聚合
keyword：不可分词，数据会作为完整字段进行匹配，可以参与聚合
Numerical：数值类型，分两类
基本数据类型：long、interger、short、byte、double、float、half_float
浮点数的高精度类型：scaled_float
需要指定一个精度因子，比如10或100。elasticsearch会把真实值乘以这个因子后存储，取出时再还原。
Date：日期类型
elasticsearch可以对日期格式化为字符串存储，但是建议存储为毫秒值，存储为long，节省空间。

新增数据

Elasticsearch非常智能，你不需要给索引库设置任何mapping映射，它也可以根据你输入的数据来判断类型，动态添加数据映射。

修改数据

把新增的请求方式改为PUT，就是修改了。

id对应文档存在，则修改id对应文档不存在，则新增

删除数据

删除使用DELETE请求，同样，需要根据id进行删除。

查询数据

查询所有

query：代表查询对象
match_all：代表查询所有

took：查询花费时间，单位是毫秒
time_out：是否超时
_shards：分片信息
hits：搜索结果总览对象
total：搜索到的总条数
max_score：所有结果中文档得分的最高分
- hits：搜索结果的文档对象数组，每个元素是一条搜索到的文档信息
  _index：索引库
  _type：文档类型
  _id：文档id
  _score：文档得分
  _source：文档的源数据

匹配查询

多个词条之间是or的关系，我们可以修改成and
match 查询支持 minimum_should_match 最小匹配参数，可以指定必须匹配的词项数用来表示一个文档是否相关。可以将其设置为某个具体数字，更常用的做法是将其设置为一个百分数，因为无法控制用户搜索时输入的单词数量：

GET /leyou/_search
{"query":{"match":{"title":{"query":"小米曲面电视",//and匹配 "operator": "and"//半匹配 "minimum_should_match": "75%"}}}
}

本例中，搜索语句可以分为3个词，如果使用and关系，需要同时满足3个词才会被搜索到。这里我们采用最小品牌数：75%，那么也就是说只要匹配到总词条数量的75%即可，这里3*75% 约等于2。所以只要包含2个词条就算满足条件了。

多字段查询

multi_match与match类似，不同的是它可以在多个字段中查询
GET /leyou/_search


```bash
{"query":{"multi_match": {"query":    "小米","fields":   [ "title", "subTitle" ]}}
}

精确匹配

term 查询被用于精确值匹配，这些精确值可能是数字、时间、布尔或者那些未分词的字符串

多词条精确匹配

terms 查询和 term 查询一样，但它允许你指定多值进行匹配。

布尔查询

bool把各种其它查询通过must（与）、must_not（非）、should（或）的方式进行组合

模糊查询

fuzzy 查询是 term 查询的模糊等价。它允许用户搜索词条与实际词条的拼写出现偏差，默认偏差的编辑距离不得超过2。也可以修改

范围查询

range 查询找出那些落在指定区间内的数字或者时间
range查询允许以下字符：
操作符说明
gt ：大于
gte：大于等于
lt：小于
lte：小于等于

查询过滤

如果查询结果只想获取其中的部分字段，可以添加_source的过滤

直接指定

包含与不包含

includes：来指定想要显示的字段
excludes：来指定不想要显示的字段

非条件过滤

注意：filter中还可以再次进行bool组合条件过滤。

查询

单字段排序

sort 可以按照不同的字段进行排序，并且通过order指定排序的方式

多字段排序

结合使用 price和 _score（得分）进行查询，并且匹配的结果首先按照价格排序，然后按照相关性得分排序

聚合

桶

桶的作用，是按照某种方式对数据进行分组，每一组数据在ES中称为一个桶

度量

分组完成以后，我们一般会对组中的数据进行聚合运算，例如求平均值、最大、最小、求和等。

使用

【注意】在ES中，需要进行聚合、排序、过滤的字段其处理方式比较特殊，因此不能被分词。

聚合为桶

按照汽车的颜色color来划分桶

GET /cars/_search
{"size" : 0,"aggs" : { "popular_colors" : { "terms" : { "field" : "color"}}}
}

size：查询条数，这里设置为0，因为我们不关心搜索到的数据，只关心聚合结果，提高效率

aggs：声明这是一个聚合查询，是aggregations的缩写
- -popular_colors：给这次聚合起一个名字，任意。
  terms：划分桶的方式，这里是根据词条划分
  field：划分桶的字段

hits：查询结果为空，因为我们设置了size为0
aggregations：聚合的结果
popular_colors：我们定义的聚合名称

buckets：查找到的桶，每个不同的color字段值都会形成一个桶
- key：这个桶对应的color字段的值
  doc_count：这个桶中的文档数量

桶内度量

使用哪个字段，使用何种度量方式进行运算；例如，每种颜色汽车的平均价格是多少？
aggs：我们在上一个aggs(popular_colors)中添加新的aggs。
度量也是一个聚合,度量是在桶内的聚合
avg_price：聚合的名称
avg：度量的类型，这里是求平均值
field：度量运算的字段

每个桶中都有自己的avg_price字段，这是度量聚合的结果。

elasticsearch基本使用相关推荐

Elasticsearch学习之路(一)
一.前序 1.1正向索引和倒排索引 ** 正向索引通常用于数据库中,在搜索引擎领域使用的最多的就是倒排索引 ** 通过例子表示: 我爱编程, 我爱编程,我是小码农 1.1.1 正向索引假设我们使用m ...
2021年大数据ELK（二十五）：添加Elasticsearch数据源
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录添加Elasticsearch数据源一.Kibana索引模式添加Elast ...
2021年大数据ELK（十九）：使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...
2021年大数据ELK（十七）：Elasticsearch SQL 订单统计分析案例
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录订单统计分析案例一.案例介绍二.创建索引三.导入测试数据四.统计不同支 ...
2021年大数据ELK（十六）：Elasticsearch SQL（职位查询案例）
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录职位查询案例一.查询职位索引库中的一条数据二.将SQL转换为DSL 三.职 ...
2021年大数据ELK（十五）：Elasticsearch SQL简单介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch SQL简单介绍一.SQL与Elasticsear ...
2021年大数据ELK（十三）：Elasticsearch编程（添加职位数据）
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch编程一.添加职位数据 1.初始化客户端连接 2.实 ...
2021年大数据ELK（十二）：Elasticsearch编程（环境准备）
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch编程一.环境准备 1.准备IDEA项目结构 2.准 ...
2021年大数据ELK（十一）：Elasticsearch架构原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch架构原理一.Elasticsearch的节点类型 ...
2021年大数据ELK（八）：Elasticsearch安装IK分词器插件
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章安装IK分词器一.下载Elasticsearch IK分词器 ...

elasticsearch基本使用