Solr Tokenizers分词器介绍

摘要： Solr的分词器(Tokenizers)用来将文本流分解成一系列的标记(tokens)。分析器analyzer 受字段配置的影响，分词器(Tokenizers)于此无关。分析器主要是把字符流(character stream )处理成一系列的标记对象(Token objects)。参见原文。

分词器说明

输入流中很些信息可能是不需要的，比如空格和标点；有些信息是需要添加的，如同义词/别名；有些信息需要替换，如缩略语等。这样，分析器处理后的一个标记(token)包含很多信息。
例如：

<fieldType name="text" class="solr.TextField"><analyzer><tokenizer class="solr.StandardTokenizerFactory"/></analyzer>
</fieldType>

这里的StandardTokenizerFactory并不是真正的分词器，而是所有实现该TokenizerFactory的API。这个工厂类将在需要创建新的tokenizer 时被调用。它的create()方法接受一个Reader参数（即字符流）并返回一个TokenStream（即标记流）。创建对象的工厂必须源自Tokenizer。除非你要使用tokenizer 生成的标记(token)，否则都应该将结果传送给下级的过滤器(filter)。

分词器种类

Standard Tokenizer

这个Tokenizer将文本的空格和标点当做分隔符。
注意，你的Email地址（含有@符合）可能会被分解开；用点号（就是小数点）连接的部分不会被分解开。对于有连字符的单词，也会被分解开。

参数	值	说明
maxTokenLength	整数，默认255	超过此长度的字符会被忽略

举例：

<analyzer><tokenizer class="solr.StandardTokenizerFactory"/>
</analyzer>

输入：“Please, email john.doe@foo.com by 03-09, re: m37-xq.”
输出： “Please”, “email”, “john.doe”, “foo.com”, “by”, “03”, “09”, “re”, “m37”, “xq”

Classic Tokenizer

基本与Standard Tokenizer相同。
注意，用点号（就是小数点）连接的部分不会被分解开；用@号（Email中常用）连接的部分不会被分解开；互联网域名（比如wo.com.cn）不会被分解开；有连字符的单词，如果是数字连接也会被分解开。

参数	值	说明
maxTokenLength	整数，默认255	超过此长度的字符会被忽略

例如：

<analyzer><tokenizer class="solr.ClassicTokenizerFactory"/>
</analyzer>

输入： “Please, email john.doe@foo.com by 03-09, re: m37-xq.”
输出： “Please”, “email”, “john.doe@foo.com”, “by”, “03-09”, “re”, “m37-xq”

Keyword Tokenizer

把整个输入文本当做一个整体。
没有参数。
例如：

<analyzer><tokenizer class="solr.KeywordTokenizerFactory"/>
</analyzer>

输入： “Please, email john.doe@foo.com by 03-09, re: m37-xq.”
输出： “Please, email john.doe@foo.com by 03-09, re: m37-xq.”

Letter Tokenizer

只处理字母。
没有参数。
例如：

<analyzer><tokenizer class="solr.LetterTokenizerFactory"/>
</analyzer>

输入： “I can’t.”
输出： “I”, “can”, “t”

Lower Case Tokenizer

以非字母元素分隔，将所有的字母转化为小写。
没有参数。
例如：

<analyzer><tokenizer class="solr.LowerCaseTokenizerFactory"/>
</analyzer>

输入： “I just LOVE my iPhone!”
输出： “i”, “just”, “love”, “my”, “iphone”

N-Gram Tokenizer

将输入文本转化成指定范围大小的片段。
注意，空格也会被当成一个字符处理。

参数	值	说明
minGramSize	整数，默认1	指定最小的片段大小，需大于0
maxGramSize	整数，默认2	指定最大的片段大小，需大于最小值

例如：

<analyzer><tokenizer class="solr.NGramTokenizerFactory"/>
</analyzer>

输入： “hey man”
输出： “h”, “e”, “y”, ” “, “m”, “a”, “n”, “he”, “ey”, “y “, ” m”, “ma”, “an”

注意，这里的空格会被当成一个字符，所以会有一个空的token，此外，”m”和” m”，还有”y”和”y “是不同的，后者都含有一个空格符。

例如：

<analyzer><tokenizer class="solr.NGramTokenizerFactory" minGramSize="4" maxGramSize="5"/>
</analyzer>

输入： “bicycle”
输出： “bicy”, “bicyc”, “icyc”, “icycl”, “cycl”, “cycle”, “ycle”

Edge N-Gram Tokenizer

用法和N-Gram Tokenizer类似。

参数	值	说明
minGramSize	整数，默认1	指定最小的片段大小，需大于0
maxGramSize	整数，默认1	指定最大的片段大小，需大于或等于最小值
side	“front” 或 “back”, 默认”front”	指定从哪个方向进行解析

例如：

<analyzer><tokenizer class="solr.EdgeNGramTokenizerFactory" />
</analyzer>

输入： “babaloo”
输出： “b”

例如：

<analyzer><tokenizer class="solr.EdgeNGramTokenizerFactory" minGramSize="2" maxGramSize="5"/>
</analyzer>

输入： “babaloo”
输出： “ba”, “bab”, “baba”, “babal”

例如：

<analyzer><tokenizer class="solr.EdgeNGramTokenizerFactory" minGramSize="2" maxGramSize="5" side="back"/>
</analyzer>

输入： “babaloo”
输出： “oo”, “loo”, “aloo”, “baloo”

Regular Expression Pattern Tokenizer

可以指定正则表达式来分析文本。

参数	值	说明
pattern	必选项	正规表达式
group	数字，可选，默认-1	负数表示用正则表达式做分界符；非正数表示只分析满足正则表达式的部分；0表示满足整个正则表达式；大于0表示满足正则表达式的第几个括号中的部分

例如：

<analyzer><tokenizer class="solr.PatternTokenizerFactory" pattern="\s*,\s*"/>
</analyzer>

输入： “fee,fie, foe , fum”
输出： “fee”, “fie”, “foe”, “fum”

例如：

<analyzer><tokenizer class="solr.PatternTokenizerFactory" pattern="[A-Z][A-Za-z]*" group="0"/>
</analyzer>

输入： “Hello. My name is Inigo Montoya. You killed my father. Prepare to die.”
输出： “Hello”, “My”, “Inigo”, “Montoya”, “You”, “Prepare”

这里的group为0，表示必须满足整个表达式，正则表达式的含义是以大写字母开头，之后是大写字母或小写字母的组合。

例如：

<analyzer><tokenizer class="solr.PatternTokenizerFactory" pattern="(SKU|Part(\sNumber)?):?\s(\[0-9-\]+)" group="3"/>
</analyzer>

输入： “SKU: 1234, Part Number 5678, Part: 126-987”
输出： “1234”, “5678”, “126-987”

这个group等于3，表示满足第三个括号”[0-9-]+”中的正则表达式

White Space Tokenizer

这个Tokenizer将文本的空格当做分隔符。

参数	值	说明
rule	默认java	如何定义空格
unicode

例如：

<analyzer><tokenizer class="solr.WhitespaceTokenizerFactory" rule="java" />
</analyzer>

输入： “To be, or what?”
输出： “To”, “be,”, “or”, “what?”