基于Lucene shingle英文单词NGram Analyzer的实现

此例为基于Lucene shingle英文单词BiGram Analyzer的实现

import java.io.Reader;
import org.apache.lucene.analysis.Analyzer;
import org.apache.lucene.analysis.LowerCaseFilter;
import org.apache.lucene.analysis.TokenStream;
import org.apache.lucene.analysis.WhitespaceTokenizer;
import org.apache.lucene.analysis.shingle.ShingleFilter;
import org.apache.lucene.util.Version;public final class BiGramAnalyzer extends Analyzer {@Overridepublic TokenStream tokenStream(String fieldName, Reader reader) {TokenStream result = new WhitespaceTokenizer(Version.LUCENE_36, reader);result = new LowerCaseFilter(Version.LUCENE_36, result);ShingleFilter shingleFilter = new ShingleFilter(result, 2);shingleFilter.setOutputUnigrams(false);result = shingleFilter;return result;}}

http://searchhub.org/2010/12/17/whats-a-shingle-in-lucene-parlance/

基于Lucene shingle英文单词NGram Analyzer的实现相关推荐

如何在基于Lucene的中文分词器中添加自定义词典（如Paoding、mmseg4j、IK Analyzer）...
如何在基于Lucene的中文分词器中添加自定义词典(如Paoding.mmseg4j.IK Analyzer) 2013-07-08 21:54:29| 分类: 计算机 |字号订阅 1. 使用Pa ...
基于Lucene的中文文本分词
王继明,杨国林 (内蒙古工业大学信息工程学院,呼和浩特010051) 摘要:中文文本分词技术是文本挖掘领域的一个重要分支,在中国仍然处于发展阶段.Apache Jakarta的开源工程Lucene是一 ...
Lucene5.5.4入门以及基于Lucene实现博客搜索功能
前言一直以来个人博客的搜索功能很蹩脚,只是自己简单用数据库的like %keyword%来实现的,所以导致经常搜不到想要找的内容,而且高亮显示.摘要截取等也不好实现,所以决定采用Lucene改写博客 ...
基于Lucene垂直搜索引擎的研究与开发实践报告
目录一.垂直搜索引擎概述二.项目概述三.关键技术 3.1 Lucene 3.2 全文检索四.系统设计 4.1 实现全文检索 4.1.1.Lucene 实现全文检索的流程 4.2 可视化界面设计 ...
基于Lucene实现博客搜索功能
前言: 最近毕设开会无意间听到小陈同学使用lucene整一个全文索引,出于好奇了解了一下发现其是结合相关分词器可以对一大段文字建立索引,然后可以实现搜索功能,本来博客一直差着一个搜索博客功能(不想通过 ...
java全文搜索服务器 solr_Apache Solr采用Java开发、基于Lucene的全文搜索服务器
http://docs.spring.io/spring-data/solr/ 首先介绍一下solr: Apache Solr (读音: SOLer) 是一个开源.高性能.采用Java开发.基于Luc ...
基于Lucene的搜索引擎的设计与实现
我们处在一个大数据的时代,伴随着网络信息资源的庞大,人们越来越多地注重怎样才能快速有效地从海量的网络信息中,检索出自己需要的.潜在的.有价值的信息,从而可以有效地在日常工作和生活中发挥作用.因为搜索引 ...
【转载保存】基于Lucene的近实时搜索引擎优化总结
一.搜索优化: 在工程领域,越是看起来"简单.确定"的问题,越是难以解决.近实时搜索引擎需要解决的问题只有一个:性能!它包含快速索引,快速搜索,以及索引到搜索的快速生效. 以下为百 ...
Katta：基于Lucene可伸缩分布式实时搜索方案
http://www.ij2ee.com/2011/11/29/katta%EF%BC%9A%E5%9F%BA%E4%BA%8Elucene%E5%8F%AF%E4%BC%B8%E7%BC%A9%E5 ...

基于Lucene shingle英文单词NGram Analyzer的实现

基于Lucene shingle英文单词NGram Analyzer的实现相关推荐

最新文章

热门文章