Text analysis 是什么

Text analysis 是将分结构化文本转化成结构化文本的过程。

触发时机

当索引或者搜索text类型字段，就会触发文本分析。

工作流程

1.字符过滤器

字符过滤器是对原始文本的处理，比如转换文字编码，过滤网页元素等。

2.令牌生成器

令牌生成器将字符过滤器处理之后的字节流进行处理，得到令牌（tokens）。

分析器必须有且仅有一个令牌生成器。

3.令牌过滤器

令牌过滤器接收令牌生成器返回的令牌流，再做一些处理。

令牌过滤器不允许更改每个令牌的位置或字符偏移量。

分析器可能具有零个或多个按顺序应用的令牌过滤器。

参考资料

https://www.elastic.co/guide/en/elasticsearch/reference/current/analysis.html#analysis

【Elasticsearch】文本分析 Text analysis (1)相关推荐

大数据分析笔记 (6) - 文本分析 (Text Analysis)
大数据分析笔记 - 文本分析总览文本分析步骤挑战第一步:收集原始文本数据(Collecting Raw Text) 第二步:表示文本 (Representing Text) 第三步:词频-逆文 ...
【Elasticsearch】文本分析 Text analysis 查询_search中使用分析 (3)
内置的analyzer fingerprint 指纹分析器实现了一个指纹算法,OpenRefine项目使用该算法来协助聚类. 内部的流程为转换小写去掉扩展字符排序删除重复字符删除配置的停止( ...
ElasticSearch文本分析(一)
文章目录 ElasticSearch文本分析(一) 概述分词归一化自定义文本分析器概念分析器的剖析字符过滤器分词器分词过滤器索引和查询分析词干提取词干提取分词过滤器算法词干提取 ...
Elasticsearch之分析（analysis）和分析器（analyzer）。
分析(analysis)是这样一个过程: 首先,表征化一个文本块为适用于倒排索引单独的词(term). 然后标准化这些词为标准形式,提高他们的"可搜索性"或"查全率&qu ...
综述:文本分析在市场营销研究中的应用
翻译自 Berger, Jonah, Ashlee Humphreys, Stephan Ludwig, Wendy W. Moe, Oded Netzer, and David A. Schweid ...
Elasticsearch：用于内容丰富的文本分析
每个文本搜索解决方案都与其提供的文本分析功能一样强大. Lucene是这样的开源信息检索库,提供了许多文本分析的可能性. 在本文中,我们将介绍ElasticSearch提供的一些主要文本分析功能,这些 ...
U1C1 数据挖掘与文本分析的背景与实际应用
U1C1 Background and practical applications of data mining and text analytics 一.机器学习与数据挖掘 (Machine ...
面向消费者的自动文本分析(Automated Text Analysis for Consumer Research) 2017 JCR 论文阅读
本文作者:合肥工业大学管理学院钱洋 email:1563178220@qq.com 内容可能有不到之处,欢迎交流. 文章简介 Humphreys A, Jen-Hui Wang R. Automa ...
Elasticsearch之文本分析过程
词条(term)查询和全文(fulltext)查询最大的不同之处是:全文查询首先分析(Analyze)查询字符串,使用默认的分析器分解成一系列的分词,term1,term2,termN,然后从索引中搜 ...

【Elasticsearch】文本分析 Text analysis (1)