ElasticSearch——全文检索

来源【尚硅谷】-《谷粒商城高级篇》

一、简介

官网:https://www.elastic.co/cn/what-is/elasticsearch

全文搜索属于最常见的需求,开源的 Elasticsearch 是目前全文搜索引擎的首选。 它可以快速地储存、搜索和分析海量数据。维基百科、Stack Overflow、Github 都采用它 Elastic 的底层是开源库 Lucene。但是,你没法直接用 Lucene,必须自己写代码去调用它的 接口。Elastic 是 Lucene 的封装,提供了 REST API 的操作接口,开箱即用。

Kibana(可视化工具)

REST API:天然的跨平台。

官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html

官方中文:https://www.elastic.co/guide/cn/elasticsearch/guide/current/foreword_id.html

社区中文: https://es.xiaoleilu.com/index.html http://doc.codingdict.com/elasticsearch/0

二、基本概念

1. index(索引)

相当于MySQL中的数据库

2. type(类型)

相当于MySQL中的数据表

3. Document(文档)

相当于MySQL中的数据

4. 倒排索引机制

记录
红海 1,2,3,4,5
行动 1,2,3
探索 2,5
特别 3,5
纪录篇 4
特工 5

三、初步检索

1. _cat

  • _GET:查看es信息

    {"name": "616a9e1efbf4","cluster_name": "elasticsearch","cluster_uuid": "Op8Z3VQzSeKTG2Q3rN17yQ","version": {"number": "7.4.2","build_flavor": "default","build_type": "docker","build_hash": "2f90bbf7b93631e52bafb59b3b049cb44ec25e96","build_date": "2019-10-28T20:40:44.881551Z","build_snapshot": false,"lucene_version": "8.2.0","minimum_wire_compatibility_version": "6.8.0","minimum_index_compatibility_version": "6.0.0-beta1"},"tagline": "You Know, for Search"
    }
    
  • _GET /_cat/nodes:查看所有节点

    127.0.0.1 22 77 4 0.00 0.01 0.06 dilm * 616a9e1efbf4
    
  • GET /_cat/health:查看 es 健康状况

    1637633495 02:11:35 elasticsearch yellow 1 1 9 9 0 0 6 0 - 60.0%
    
  • GET /_cat/master:查看主节点

    9QX5tgTTQW-djqKkz6tnFQ 127.0.0.1 127.0.0.1 616a9e1efbf4
    
  • GET /_cat/indices:查看所有索引 show databases

    yellow open bank                     s8dd9wdKSC2j4HA9pfCrig 1 1 1000 0 428.4kb 428.4kb
    yellow open website                  YmVaHWr9SL6ilyWfaRyHog 1 1    2 2   8.6kb   8.6kb
    green  open .kibana_task_manager_1   vhVToLqpT4-NCXd5rXicPw 1 0    2 0  21.7kb  21.7kb
    yellow open my_index                 diw79fzHRRKi7MdS1Seflg 1 1    0 0    283b    283b
    green  open .apm-agent-configuration DQhr7FobQg6tV9q5z7QA8g 1 0    0 0    283b    283b
    yellow open newbank                  N-6EQ7M4TcmDKIMBQQv4Aw 1 1 1000 0 286.5kb 286.5kb
    green  open .kibana_1                vzWLn08uRK2R8xDGukZzdw 1 0    9 1    30kb    30kb
    yellow open users                    T1m16_wQSiyHxKiA5CIv-A 1 1    1 0   4.3kb   4.3kb
    yellow open customer                 LlfbJVXnSXWHaZr-_n-w2g 1 1    2 0   3.5kb   3.5kb
    

2. 索引一个文档(保存)

保存一个数据,保存在哪个索引的哪个类型下,指定用哪个唯一标识 PUT customer/external/1;在 customer 索引下的 external 类型下保存 1 号数据为

PUT customer/external/1
{ "name": "John Doe"
}

PUT 和 POST 都可以, POST 新增。如果不指定 id,会自动生成 id。指定 id 就会修改这个数据,并新增版本号 PUT 可以新增可以修改。PUT 必须指定 id;由于 PUT 需要指定 id,我们一般都用来做修改 操作,不指定 id 会报错。

3. 查询文档

GET customer/externa

结果:

{ "_index": "customer", //在哪个索引"_type": "external", //在哪个类型"_id": "1", //记录 id"_version": 2, //版本号"_seq_no": 1, //并发控制字段,每次更新就会+1,用来做乐观锁"_primary_term": 1, //同上,主分片重新分配,如重启,就会变化"found": true, "_source": { //真正的内容"name": "John Doe"}
}

更新携带

?if_seq_no=0&if_primary_term=

4. 更新文档

POST customer/external/1/_update
{ "doc":{ "name": "John Doew"}
}
//或者===========================
POST customer/external/1
{ "name": "John Doe2"
}
//或者===========================
PUT customer/external/1
{ "name": "John Doe"
}

不同:

POST 操作会对比源文档数据,如果相同不会有什么操作,文档 version 不增加 PUT 操作总会将数据重新保存并增加 version 版本; 带_update 对比元数据如果一样就不进行任何操作。 看场景; 对于大并发更新,不带 update; 对于大并发查询偶尔更新,带 update;对比更新,重新计算分配规则。

更新同时增加属性:

POST customer/external/1/_update
{ "doc": { "name": "Jane Doe", "age": 20 }
}
//PUT 和 POST 不带_update 也可以

5. 删除文档&索引

DELETE customer/external/1
DELETE customer

6. bulk 批量 API

POST customer/external/_bulk
{"index":{"_id":"1"}}
{"name": "John Doe" }
{"index":{"_id":"2"}}
{"name": "Jane Doe" }

语法格式:

{ action: { metadata }}\n
{ request body }\n { action: { metadata }}\n
{ request body }\n

复杂实例:

POST /_bulk
{ "delete": { "_index": "website", "_type": "blog", "_id": "123" }}
{ "create": { "_index": "website", "_type": "blog", "_id": "123" }}
{ "title": "My first blog post" }
{ "index": { "_index": "website", "_type": "blog" }}
{ "title": "My second blog post" }
{ "update": { "_index": "website", "_type": "blog", "_id": "123", "_retry_on_conflict" : 3} }
{ "doc" : {"title" : "My updated blog post"} }

bulk API 以此按顺序执行所有的 action(动作)。如果一个单个的动作因任何原因而失败, 它将继续处理它后面剩余的动作。当 bulk API 返回时,它将提供每个动作的状态(与发送 的顺序相同),所以可以检查是否一个指定的动作是不是失败了。

四、进阶检索

1. SearchAPI

ES 支持两种基本方式检索 :

  • 一个是通过使用 REST request URI 发送搜索参数(uri+检索参数)
  • 另一个是通过使用 REST request body 来发送它们(uri+请求体)

1)检索信息

检索 说明
GET bank/_searc 检索 bank 下所有信息,包括 type 和 docs
GET bank/_search?q=*&sort=account_number:asc 请求参数方式检索

响应体

响应体属性 说明
took - Elasticsearch 执行搜索的时间(毫秒)
time_out 是否超时
_shards 统计被搜索分片数量,以及统计了成功/失败的搜索分片
hits 搜索结果
hits.total 搜索结果
hits.hits 实际的搜索结果数组(默认为前 10 的文档)
sort 结果的排序 key(键)(没有则按 score 排序)
score || max_score 相关性得分和最高得分(全文检索用)

uri+请求体进行检索

GET bank/_search
{ "query": { "match_all": {}},"sort": [{ "account_number": { "order": "desc"}}]
}

HTTP 客户端工具(POSTMAN),get 请求不能携带请求体,我们变为 post 也是一样的 我们 POST 一个 JSON 风格的查询请求体到 _search API。 需要了解,一旦搜索的结果被返回,Elasticsearch 就完成了这次请求,并且不会维护任何 服务端的资源或者结果的 cursor(游标)

2. Query DSL

1)基本语法格式

Elasticsearch 提供了一个可以执行查询的 Json 风格的 DSL(domain-specific language 领域特 定语言)。这个被称为 Query DSL。该查询语言非常全面,并且刚开始的时候感觉有点复杂, 真正学好它的方法是从一些基础的示例开始的。

一个查询语句 的典型结构

{ QUERY_NAME: { ARGUMENT: VALUE, ARGUMENT: VALUE,... }
}

如果是针对某个字段,那么它的结构如下:

{ QUERY_NAME: { FIELD_NAME: { ARGUMENT: VALUE, ARGUMENT: VALUE,... } }
}
GET bank/_search
{ "query": { "match_all": {}},"from": 0, "size": 5, "sort": [{ "account_number": { "order": "desc"}}]
}
  • query 定义如何查询,
  • match_all 查询类型【代表查询所有的所有】,es 中可以在 query 中组合非常多的查 询类型完成复杂查询
  • 除了 query 参数之外,我们也可以传递其它的参数以改变查询结果。如 sort,size
  • from+size 限定,完成分页功能
  • sort 排序,多字段排序,会在前序字段相等时后续字段内部排序,否则以前序为准

2)返回部分字段

GET bank/_search
{ "query": {"match_all": {}},"from": 0, "size": 5, "_source": ["age","balance"]
}

3)match【匹配查询】

  • 基本类型(非字符串),精确匹配

    GET bank/_search
    { "query": { "match": { "account_number": "20" } }
    }
    

    match 返回 account_number=20 的

  • 字符串,全文检索

    GET bank/_search
    { "query": { "match": { "address": "mill"}}
    }
    

    最终查询出 address 中包含 mill 单词的所有记录 match 当搜索字符串类型的时候,会进行全文检索,并且每条记录有相关性得分。

  • 字符串,多个单词(分词+全文检索)

    GET bank/_search
    { "query": { "match": { "address": "mill road" } }
    }
    

    最终查询出 address 中包含 mill 或者 road 或者 mill road 的所有记录,并给出相关性得分

4)match_phrase【短语匹配】

将需要匹配的值当成一个整体单词(不分词)进行检索

GET bank/_search
{ "query": { "match_phrase": { "address": "mill road"}}
}

查出 address 中包含 mill road 的所有记录,并给出相关性得分

5)multi_match【多字段匹配】

GET bank/_search
{ "query": { "multi_match": { "query": "mill", "fields": ["state","address"] } }
}
state 或者 address包含null

6)bool【复合查询】

bool 用来做复合查询:

复合语句可以合并 任何 其它查询语句,包括复合语句,了解这一点是很重要的。这就意味 着,复合语句之间可以互相嵌套,可以表达非常复杂的逻辑。

  • must:必须达到 must 列举的所有条件

    GET bank/_search
    { "query": { "bool": { "must": [{ "match": { "address": "mill" } },{ "match": { "gender": "M" } }]}}
    }
    
  • should:应该达到 should 列举的条件,如果达到会增加相关文档的评分,并不会改变 查询的结果。如果 query 中只有 should 且只有一种匹配规则,那么 should 的条件就会 被作为默认匹配条件而去改变查询结果

    GET bank/_search
    { "query": { "bool": { "must": [{ "match": { "address": "mill" } }, { "match": { "gender": "M" } }],"should": [{"match": { "address": "lane" }}]}}
    }
    
  • must_not 必须不是指定的情况

    GET bank/_search
    { "query": { "bool": { "must": [{"match": { "address": "mill" } }, {"match": { "gender": "M" } }],"should": [{"match": { "address": "lane" }}],"must_not": [{"match": { "email": "baluba.com" }}]}}
    }
    

    address 包含 mill,并且 gender 是 M,如果 address 里面有 lane 最好不过,但是 email 必 须不包含 baluba.com

    事件 描述
    must 字句(查询)必须出现在匹配的文档中,并将有助于得分
    filter 字句(查询)必须出现在匹配的文档中,然而不像must此查询的得分将被忽略
    should 字句(查询)应出现在匹配的文档中,在布尔查询中不包含must或filter字句,一个或多个should子句必须有匹配的文件,匹配should条件的最小数据可通过设置minimum_should_match参数
    must_not 字句(查询)不能出现在匹配的文档中

7)filter【结果过滤】

并不是所有的查询都需要产生分数,特别是那些仅用于 “filtering”(过滤)的文档。为了不 计算分数 Elasticsearch 会自动检查场景并且优化查询的执行。

GET bank/_search
{"query": {"bool": {"must": [{"match": {"address": "mill"}}],"filter": {"range": {"balance": {"gte": 10000,"lte": 20000}}}}}
}

8)term

和 match 一样。匹配某个属性的值。全文检索字段用 match,其他非 text 字段匹配用 term。

GET bank/_search
{"query": {"bool": {"must": [{"term": {"age": {"value": "28"}}}, {"match": {"address": "990 Mill Road"}}]}}
}

9)aggregations(执行聚合)

聚合提供了从数据中分组和提取数据的能力。最简单的聚合方法大致等于 SQL GROUP BY 和 SQL 聚合函数。在 Elasticsearch 中,您有执行搜索返回 hits(命中结果),并且同时返 回聚合结果,把一个响应中的所有 hits(命中结果)分隔开的能力。这是非常强大且有效的, 您可以执行查询和多个聚合,并且在一次使用中得到各自的(任何一个的)返回结果,使用 一次简洁和简化的 API 来避免网络往返。

  • 搜索 address 中包含 mill 的所有人的年龄分布以及平均年龄,但不显示这些人的详情。

    GET bank/_search
    {"query": {"match": {"address": "mill"}},"aggs": {"group_by_state": {"terms": {"field": "age"}},"avg_age": {"avg": {"field": "age"}}},"size": 0
    }
    //========================================
    size:0 //不显示搜索数据
    aggs://执行聚合。聚合语法如下
    "aggs": {"aggs_name 这次聚合的名字,方便展示在结果集中": {"AGG_TYPE 聚合的类型(avg,term,terms)": {}}
    }
    
  • 按照年龄聚合,并且请求这些年龄段的这些人的平均薪资

    GET bank/account/_search
    {"query": {"match_all": {}},"aggs": {"age_avg": {"terms": {"field": "age","size": 1000},"aggs": {"banlances_avg": {"avg": {"field": "balance"}}}}},"size": 1000
    }
    
  • 查出所有年龄分布,并且这些年龄段中 M 的平均薪资和 F 的平均薪资以及这个年龄 段的总体平均薪资

    GET bank/account/_search
    {"query": {"match_all": {}},"aggs": {"age_agg": {"terms": {"field": "age","size": 100},"aggs": {"gender_agg": {"terms": {"field": "gender.keyword","size": 100},"aggs": {"balance_avg": {"avg": {"field": "balance"}}}},"balance_avg": {"avg": {"field": "balance"}}}}},"size": 1000
    }
    

3. Mapping

1)字段类型

2)映射

Mapping(映射)

Mapping 是用来定义一个文档(document),以及它所包含的属性(field)是如何存储和 索引的。比如,使用 mapping 来定义:

  • 哪些字符串属性应该被看做全文本属性(full text fields)。

  • 哪些属性包含数字,日期或者地理位置。

  • 文档中的所有属性是否都能被索引(_all 配置)。

  • 日期的格式。

  • 自定义映射规则来执行动态添加属性。

  • 查看 mapping 信息

    GET bank/_mappi
    
  • 修改 mapping 信息

    https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping.html

    自动猜测的映射类型

    JSON type 域type
    布尔型:true或者false boolean
    整数:123 long
    浮点型:123.45 double
    字符串,有效日期:2014-09-15 date
    字符串:foo bar string

3)新版本改变

Es7 及以上移除了 type 的概念。

  • 关系型数据库中两个数据表示是独立的,即使他们里面有相同名称的列也不影响使用, 但 ES 中不是这样的。elasticsearch 是基于 Lucene 开发的搜索引擎,而 ES 中不同 type 下名称相同的 filed 最终在 Lucene 中的处理方式是一样的。

    • 两个不同 type 下的两个 user_name,在 ES 同一个索引下其实被认为是同一个 filed, 你必须在两个不同的 type 中定义相同的 filed 映射。否则,不同 type 中的相同字段 名称就会在处理中出现冲突的情况,导致 Lucene 处理效率下降。
    • 去掉 type 就是为了提高 ES 处理数据的效率。 Elasticsearch 7.x
  • URL 中的 type 参数为可选。比如,索引一个文档不再要求提供文档类型。 Elasticsearch 8.x
  • 不再支持 URL 中的 type 参数。 解决:
    1. 将索引从多类型迁移到单类型,每种类型文档一个独立索引
    2. 将已存在的索引下的类型数据,全部迁移到指定位置即可。详见数据迁移
1、创建映射
1、创建索引并指定映射
PUT /my-index
{"mappings": {"properties": {"age": {"type": "integer"},"email": {"type": "keyword"},"name": {"type": "text"}}}
}
2、添加新的字段映射
PUT /my-index/_mapping
{"properties": {"employee-id": {"type": "keyword","index": false}}
}
3、更新映射

对于已经存在的映射字段,我们不能更新。更新必须创建新的索引进行数据迁移

4、数据迁移

先创建出 new_twitter 的正确映射。然后使用如下方式进行数据迁移

POST _reindex [固定写法]
{"source": {"index": "twitter"},"dest": {"index": "new_twitter"}
}

将旧索引的 type 下的数据进行迁移

POST _reindex
{"source": {"index": "twitter","type": "tweet"},"dest": {"index": "tweets"}
}

4、分词

一个 tokenizer(分词器)接收一个字符流,将之分割为独立的 tokens(词元,通常是独立 的单词),然后输出 tokens 流。

例如,whitespace tokenizer 遇到空白字符时分割文本。它会将文本 “Quick brown fox!” 分割 为 [Quick, brown, fox!]。 该

tokenizer(分词器)还负责记录各个 term(词条)的顺序或 position 位置(用于 phrase 短 语和 word proximity 词近邻查询),以及 term(词条)所代表的原始 word(单词)的 start (起始)和 end(结束)的 character offsets(字符偏移量)(用于高亮显示搜索的内容)。

Elasticsearch 提供了很多内置的分词器,可以用来构建 custom analyzers(自定义分词器)。

1)安装 ik 分词器

注意:不能用默认 elasticsearch-plugin install xxx.zip 进行自动安装

https://github.com/medcl/elasticsearch-analysis-ik/releases?after=v6.4.2 对应 es 版本安装

进入 es 容器内部 plugins 目录

docker exec -it 容器 id /bin/bash

wget

https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v7.4.2/elasticsearch-anal ysis-ik-7.4.2.zip


unzip 下载的文件


rm –rf *.zip


mv elasticsearch/


ik 可以确认是否安装好了分词器

cd …/bin

elasticsearch plugin list:即可列出系统的分词器

2)测试分词器

使用默认

POST _analyze
{ "text": "我是中国人"
}

使用分词器

POST _analyze
{ "analyzer": "ik_smart", "text": "我是中国人"
}

另外一个分词器

ik_max_word

POST _analyze
{ "analyzer": "ik_max_word ", "text": "我是中国人"
}

观察结果,能够看出不同的分词器,分词有明显的区别,所以以后定义一个索引不能再使用默 认的 mapping 了,要手工建立 mapping, 因为要选择分词器。

3)自定义词库

修改/usr/share/elasticsearch/plugins/ik/config/中的 IKAnalyzer.cfg.xml /usr/share/elasticsearch/plugins/ik/config

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict"></entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords"></entry><!--用户可以在这里配置远程扩展字典 --><entry key="remote_ext_dict">http://192.168.128.130/fenci/myword.txt</entry><!--用户可以在这里配置远程扩展停止词字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

原来的 xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties><comment>IK Analyzer 扩展配置</comment><!--用户可以在这里配置自己的扩展字典 --><entry key="ext_dict"></entry><!--用户可以在这里配置自己的扩展停止词字典--><entry key="ext_stopwords"></entry><!--用户可以在这里配置远程扩展字典 --><!-- <entry key="remote_ext_dict">words_location</entry> --><!--用户可以在这里配置远程扩展停止词字典--><!-- <entry key="remote_ext_stopwords">words_location</entry> -->
</properties>

按照标红的路径利用 nginx 发布静态资源,按照请求路径,创建对应的文件夹以及文件,放在 nginx 的 html

然后重启 es 服务器,重启 nginx。

更新完成后,es 只会对新增的数据用新词分词。历史数据是不会重新分词的。如果想要历 史数据重新分词。需要执行:

POST my_index/_update_by_query?conflicts=proceed

五、Elasticsearch-Rest-Client

1)、9300:TCP

  • spring-data-elasticsearch:transport-api.jar;

    • springboot 版本不同, transport-api.jar 不同,不能适配 es 版本
    • 7.x 已经不建议使用,8 以后就要废弃

2)、9200:HTTP

  • JestClient:非官方,更新慢
  • RestTemplate:模拟发 HTTP 请求,ES 很多操作需要自己封装,麻烦
  • HttpClient:同上
  • Elasticsearch-Rest-Client:官方 RestClient,封装了 ES 操作,API 层次分明,上手简单

最终选择 Elasticsearch-Rest-Client(elasticsearch-rest-high-level-client) https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high.html

1、SpringBoot 整合

<dependency><groupId>org.elasticsearch.client</groupId><artifactId>elasticsearch-rest-high-level-client</artifactId><version>7.4.2</version>
</dependency>

2、配置


import org.apache.http.HttpHost;
import org.elasticsearch.client.*;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;/*** @Description :* @Author : sherlock* @Date : 2021/11/22 14:29*/@Configuration
public class ElasticSearchConfig {public static final RequestOptions COMMON_OPTIONS;static {RequestOptions.Builder builder = RequestOptions.DEFAULT.toBuilder();
//        builder.addHeader("authorization", "Bearer" + Token);
//        builder.setHttpAsyncResponseConsumerFactory(
//                new HttpAsyncResponseConsumerFactory
//                        .HeapBufferedResponseConsumerFactory(30 * 1024 * 1024 * 1024)
//        );COMMON_OPTIONS = builder.build();}//elasticsearch地址@Beanpublic RestHighLevelClient client() {RestClientBuilder builder = RestClient.builder(new HttpHost("192.168.56.10", 9200, "http"));return new RestHighLevelClient(builder);}
}

3、使用

参照官方文档:

https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high.html


import cn.hutool.json.JSON;
import cn.hutool.json.JSONObject;
import cn.hutool.json.JSONUtil;
import com.syq.gulimail.search.config.ElasticSearchConfig;
import lombok.Data;
import lombok.ToString;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.action.search.SearchRequest;
import org.elasticsearch.action.search.SearchResponse;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.xcontent.XContentType;
import org.elasticsearch.index.query.QueryBuilders;
import org.elasticsearch.search.SearchHit;
import org.elasticsearch.search.aggregations.Aggregation;
import org.elasticsearch.search.aggregations.AggregationBuilders;
import org.elasticsearch.search.aggregations.Aggregations;
import org.elasticsearch.search.aggregations.bucket.terms.Terms;
import org.elasticsearch.search.aggregations.bucket.terms.TermsAggregationBuilder;
import org.elasticsearch.search.aggregations.metrics.Avg;
import org.elasticsearch.search.aggregations.metrics.AvgAggregationBuilder;
import org.elasticsearch.search.builder.SearchSourceBuilder;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;import java.io.IOException;@RunWith(SpringRunner.class)
@SpringBootTest
public class GulimailSearchApplicationTests {@Autowiredprivate RestHighLevelClient client;@ToString@Dataclass Account {private int account_number;private int balance;private String firstname;private String lastname;private int age;private String gender;private String address;private String employer;private String email;private String city;private String state;}/*** 检索数据** @throws IOException*/@Testpublic void searchData() throws IOException {SearchRequest searchRequest = new SearchRequest();//1.指定索引searchRequest.indices("bank");//2.指定检索条件SearchSourceBuilder sourceBuilder = new SearchSourceBuilder();//构造检索条件
//        sourceBuilder.query();
//        sourceBuilder.from();
//        sourceBuilder.size();
//        sourceBuilder.aggregation();sourceBuilder.query(QueryBuilders.matchQuery("address", "mill"));//3.创建聚合条件//3.1)按照年龄的值发布进行聚合TermsAggregationBuilder ageAgg = AggregationBuilders.terms("ageAgg").field("age").size(10);sourceBuilder.aggregation(ageAgg);//3.2)计算平均薪资AvgAggregationBuilder balanceAvg = AggregationBuilders.avg("balanceAvg").field("balance");sourceBuilder.aggregation(balanceAvg);System.out.println("检索条件:" + sourceBuilder.toString());searchRequest.source(sourceBuilder);//4.执行检索SearchResponse searchResponse = client.search(searchRequest, ElasticSearchConfig.COMMON_OPTIONS);//5.分析结果System.out.println("查询结果:" + searchResponse.toString());SearchHit[] searchHits = searchResponse.getHits().getHits();for (SearchHit hit : searchHits) {//            hit.getIndex();hit.getType();hit.getId();hit.getSourceAsString();Account account = JSONUtil.toBean(hit.getSourceAsString(), Account.class);System.out.println("account:" + account);}Aggregations aggregations = searchResponse.getAggregations();
//        for (Aggregation aggregation : aggregations.asList()) {//            System.out.println("当前聚合:"+aggregation.getName());
//        }Terms ageAgg1 = aggregations.get("ageAgg");for (Terms.Bucket bucket : ageAgg1.getBuckets()) {String keyAsString = bucket.getKeyAsString();System.out.println("年龄:" + keyAsString + "==>" + bucket.getDocCount());}Avg balanceAvg1 = aggregations.get("balanceAvg");System.out.println("平均薪资:" + balanceAvg1.getValue());}/*** 存储/更新数据到es** @throws IOException*/@Testpublic void indexData() throws IOException {IndexRequest indexRequest = new IndexRequest("users");indexRequest.id("1");//数据id
//        indexRequest.source("username","zhangsan","age",18,"gender","男");User user = new User();user.setUsername("sherlock");user.setAge(18);user.setGender("男");String s = JSONUtil.toJsonStr(user);indexRequest.source(s, XContentType.JSON);//要保存的内容,内容类型//执行操作IndexResponse index = client.index(indexRequest, ElasticSearchConfig.COMMON_OPTIONS);//提取有用的数据System.out.println(index);}@Dataclass User {private String username;private String gender;private Integer age;}@Testpublic void contextLoads() {System.out.println(client);}}

ElasticSearch——全文检索相关推荐

  1. ElasticSearch 全文检索实战

    一.概述 Elasticsearch 是一个分布式的 RESTful 风格的搜索和数据分析引擎,它基于 Lucene 实现了强大的全文检索功能.本文针对一个通用的应用场景,讲解如何利用 Elastic ...

  2. java查询oracle数据库_Oracle数据库之java 从Oracle数据库到处数据到Elasticsearch全文检索库进行全文查询...

    本文主要向大家介绍了Oracle数据库之java 从Oracle数据库到处数据到Elasticsearch全文检索库进行全文查询,通过具体的内容向大家展现,希望对大家学习Oracle数据库有所帮助. ...

  3. MySQL数据同步到ES集群(MySQL数据库与ElasticSearch全文检索的同步)

    简介:MySQL数据库与ElasticSearch全文检索的同步,通过binlog的设置对MySQL数据库操作的日志进行记录,利用Python模块对日志进行操作,再利用kafka的生产者消费者模式进行 ...

  4. elasticsearch全文检索流程

    elasticsearch全文检索流程 elasticsearch全文检索流程 索引过程 创建索引 获得原始文档 创建文档对象 分析文档 创建索引 查询索引 elasticsearch全文检索流程 索 ...

  5. ElasticSearch - 全文检索服务 - RestHightLevel版

    Author:Allen_Huang Version:1.0.0 ElasticSearch - 全文检索服务 - RestHightLevel版本 文章目录 ElasticSearch - 全文检索 ...

  6. JavaEE 企业级分布式高级架构师(十七)ElasticSearch全文检索(1)

    ElasticSearch学习笔记 基础篇 问题思考 大规模数据如何检索? 传统数据库的应对解决方案? 非关系型数据库的解决方案? 另辟蹊径--完全把数据放入内存怎么样? 全文检索技术 什么是全文检索 ...

  7. Elasticsearch - 全文检索服务器

    一.Elasticsearch 简介 Elasticsearch 是一个基于 Lucene 的全文检索服务器,提供了基于 RESTful web接口的分布式全文搜索引擎. 总结: Elasticsea ...

  8. ElasticSearch(全文检索服务的安装和使用)

    目录 一.ElasticSearch介绍 1.1 为什么要用ElasticSearch? 1.2 ElasticSearch介绍 1.3 原理与应用 1.3.1.索引结构 1.3.2.倒排索引 1.4 ...

  9. Elasticsearch全文检索实战小结——复盘我带的第二个项目

    一.项目概述 这是一个被我称之为"没有枪.没有炮,硬着头皮自己造"的项目.项目是和其它公司合作的三个核心模块开发. 使用ES的目的是: 1).采集数据.网站数据清洗后存入ES: 2 ...

最新文章

  1. c语言头文件中定义inline static相关函数的优劣
  2. Navicat Mac 快捷键有哪些
  3. 成功解决Visual Studio 2015安装时,点击vs_community.exe 没有反应
  4. 互联网文本内容安全:腾讯云天御AI对抗实践
  5. 常见Linux面试题总结
  6. Android之ActivityManage长用方法总结
  7. CSP202009-2 风险人群筛查(100分)【序列处理】
  8. 文本不换行省略—input属性
  9. 07 -模型层ORM
  10. 20200118每日一句
  11. 贝莱德砸10亿美元买下指数定制公司,释放什么信号?
  12. 3.30华为笔试第三题
  13. php 跨域问题解决方案
  14. 软件安全测试之系统安全测试,软件安全测试报告模板.docx
  15. linux文件被锁定,Linux下锁定系统重要文件,防止篡改
  16. python自动上传图片_Python+selenium自动上传博客图片至新浪微博相册
  17. 条码打印软件如何制作快递电子面单
  18. 如何学好计算机应用基础这门课,如何学好《计算机应用基础》课.docx
  19. xTiNt 论坛发帖辅助软件 1.0 绿色版
  20. 自定义数据源 整合 Mybatis-Plus-多租户

热门文章

  1. 10个PHP开发者最容易犯的错误
  2. 西安交通大学校长毕业典礼上 脱稿演讲 非常精彩 受益多多
  3. oracle数据库分区表建立索引
  4. smali转java编辑_直接Smali转Java转换器使Smali对开发人员更友好
  5. 机器学习之常见的性能度量
  6. Git Cherry-pick (摘樱桃) 实现分支的部分提交合并到Master
  7. 樱桃快熟了,你准备好流口水了吗?
  8. Android沉浸式模式
  9. 计算机毕业设计Java的健身俱乐部综合管理系统(源码+系统+mysql数据库+lw文档)
  10. mysql 修改表列名称_MYSQL数据库- 修改数据表名称、列名称