这里讲解下常见的几个分词器：Standard Analyzer、Simple Analyzer、whitespace Analyzer。

1、Standard Analyzer(默认)

1）示例

standard 是默认的分析器。它提供了基于语法的标记化（基于Unicode文本分割算法），适用于大多数语言

2）配置

标准分析器接受下列参数：

max_token_length ：最大token长度，默认255
stopwords ：预定义的停止词列表，如_english_或包含停止词列表的数组，默认是 _none_
stopwords_path ：包含停止词的文件路径

PUT new_index
{"settings": {"analysis": {"analyzer": {"my_english_analyzer": {"type": "standard",       #设置分词器为standard"max_token_length": 5,    #设置分词最大为5"stopwords": "_english_"  #设置过滤词}}}}
}

2、Simple Analyzer

simple 分析器当它遇到只要不是字母的字符，就将文本解析成term，而且所有的term都是小写的。

3、Whitespace Analyzer

POST _analyze
{"analyzer": "whitespace","text":     "Like X 国庆放假 的"
}

java学习讨论群：725562382

二、ElasticSearch内置分词器相关推荐

Elasticsearch 内置分词器
Elasticsrarch 提供了8中内置分词器,它们可以无需任何配置即可使用.每一个分词器都由3部分组件组成:Character Filters.Tokenizer和Token Filters,这3 ...
Elasticsearch Analyzer 内置分词器
Elasticsearch Analyzer 内置分词器篇主要介绍一下 Elasticsearch中 Analyzer 分词器的构成和一些Es中内置的分词器以及如何使用它们前置知识 es 提供 ...
Elasticsearch7 分词器(内置分词器和自定义分词器)
文章目录 Elasticsearch7 分词器(内置分词器和自定义分词器) analysis 概览 char_filter html_strip mapping pattern_replace fil ...
架构师成长记_第八周_10_ES-分词与五种内置分词器
文章目录 ES-分词 PS: 1. 全局分析方式(_analyze) 2. 指定字段分析方式(索引名/_analyze) ES-五种内置分词器介绍 1 标准分词器 standard 2 非字母分词器 ...
Elasticsearch插件之分词器
程序员小强总结的 ElasticSearch专题超全总结篇在这里:传送门结合官网资料,做了更详细的实际使用总结. 从单机版安装到集群高可用生产环境搭建.基本概念(索引,分片,节点,倒排索引-).DS ...
elasticsearch ik pingyin 分词器的安装和使用
ES的核心就是搜索, 那么用ES不得不提到ES的搜索机制. 提搜索机制就不得不提到 index的mapping 里的分词器我们在搭建的过程中,默认通过 ip:9200/index 来创建一个索引. ...
Elasticsearch的ik分词器安装和验证
1.什么是分词器把文本转换为一个个的单词,分词称之为analysis.es默认只对英文语句做分词,中文不支持,每个中文字都会被拆分为独立的个体. 2.es内置分词器 standard ...
ElasticSearch之ICU分词器
分词器分词器接受一个字符串作为输入,将这个字符串拆分成独立的词或语汇单元(token) (可能会丢弃一些标点符号等字符),然后输出一个语汇单元流(token stream) . 一个anal ...
Elasticsearch之Analyzer分词器介绍
Elasticsearch之Analyzer分词器介绍 Analysis Analyzer的组成 ES中内置的分词器 Analyzer的使用几种分词器介绍 Standard Analyzer Sim ...

二、ElasticSearch内置分词器

java学习讨论群：725562382

二、ElasticSearch内置分词器相关推荐

最新文章

热门文章