如何用Lucene实现实时搜索--Tripod

网上有不少关于如何使用lucene完成实时搜索功能的文章。鉴于lucene的实现机制，绝大多数解决办法都是采用一定频率访问lucene索引，发现变更，然后搜索数据，返回结果。这种办法只能达到准实时效果，且会带来磁盘的I/O消耗。

抛开在lucene架构下能否找到更好的解决办法不谈，我们试着考虑到底是什么需求促使我们去寻找实时搜索lucene的解决方法的。想必大多数情况下，都是希望能够实时获取满足了某种条件的数据，而后对其进行计算或展示吧。既然如此，那么我们在对数据流处理时，直接匹配流中的数据岂不是更好？也只有这样做才能做到真正意义上的实时效果。这样看下来，其实我们只要有一个能够支持lucene查询语法的实时计算引擎就可以达到目的了。开源系统Tripod就是依据此思路构建起的兼容lucene查询语法的计算引擎。使用时只要集成其提供的api，设置好匹配条件，然后不断传入待匹配数据就可以实现对数据流的实时搜索了。

Tripod使用非常简单，其主要功能都集中在tripod-engine模块中，可通过如下maven依赖引入tripod-engine模块。

<dependency>
<groupId>org.datayoo.tripod</groupId><artifactId>tripod-engine</artifactId><version>1.0.0</version>
</dependency>

示例代码如下：

{...// 创建TripodEngineTripodEngine tripodEngine = createTripodEngine();// 构造测试数据文档Map<String, TermEntity[]> dataMap = TripodTestHelper.createDataMap();// 匹配文档tripodEngine.match(dataMap, true);try {Thread.sleep(1000);} catch (InterruptedException e) {e.printStackTrace();}
}protected static TripodEngine createTripodEngine() {List<FieldMetadata> fieldMetadatas = new LinkedList<FieldMetadata>();FieldMetadata fieldMetadata = new FieldMetadata("title", 2);fieldMetadatas.add(fieldMetadata);fieldMetadata = new FieldMetadata("content", 1);fieldMetadatas.add(fieldMetadata);/** 初始化TripodEngine，传入待处理的文档对象的字段信息，缺省字段及Idf计算辅助接口* */TripodEngine tripodEngine = new TripodEngine(fieldMetadatas, fieldMetadata,new IdfCounterImpl());// 设置引擎在匹配时计算相关度tripodEngine.setScoring(true);// 文档匹配监听器，当规则匹配文档后，通过该接口回调传回匹配结果TripodListener tripodListener = new TripodPrintListener();//    yoolerEngine//        .addYoolerRule("test", "(中办&title:中办)^2 任命 形式主义", yoolerListener);// 向引擎添加匹配规则tripodEngine.addTripodRule("test1", "\"第5代 领导\" 任命 形式主义", tripodListener);return tripodEngine;
}

示例代码的执行结果为：

test1 : 0.066580

Tripod不止支持对数据进行实时匹配，还可以向lucene一样对匹配结果进行打分。示例中的输出结果即测试数据命中匹配规则后的相关分值。Tripod支持的打分算法与lucene一致，但实现细节及数据环境有差异，所以分值不完全相同，但其表现的与匹配条件的相关趋势是一致的，在使用时需要注意。如果要了解Tripod的更多详情，可以参见链接https://github.com/colorknight/tripod。

如何用Lucene实现实时搜索--Tripod相关推荐

一种基于Lucene的实时搜索方案|淘宝技术部
背景阿里集团各大业务快速发展过程中都对搜索服务很多刚性的需要,而这样的搜索需求有着非常明显的特征:快速支持.低成本.实时性和稳定性. 快速支持: 业务需求急迫.需要一周甚至几天内完成索引服务搭建.测 ...
Katta：基于Lucene可伸缩分布式实时搜索方案
http://www.ij2ee.com/2011/11/29/katta%EF%BC%9A%E5%9F%BA%E4%BA%8Elucene%E5%8F%AF%E4%BC%B8%E7%BC%A9%E5 ...
基于 Lucene 的桌面文件搜索
开源2010年,自己在学习 Lucene 时开发的一款桌面文件搜索工具,这么多年过去了,代码一直静静存放在自己的硬盘上,与其让其沉睡,不如分享出来. 这款工具带有明显的模仿 Everything 的痕 ...
lucene4.5近实时搜索
近实时搜索就是他能打开一个IndexWriter快速搜索索引变更的内容,而不必关闭writer,或者向writer提交,这个功能是在2.9版本以后引入的,在以前没有这个功能时,必须调用writer的c ...
剖析Elasticsearch集群系列第三篇近实时搜索、深层分页问题和搜索相关性权衡之道...
http://www.infoq.com/cn/articles/anatomy-of-an-elasticsearch-cluster-part03?utm_source=infoq&utm ...
ELK学习1_开源分布式搜索平台ELK+Redis+Syslog-ng实现日志实时搜索
Logstash + Elasticsearch + Kibana+Redis+Syslog-ng ElasticSearch是一个基于Lucene构建的开源,分布式,RESTful搜索引擎.设计用于 ...
实时搜索 elasticsearch vs solr
oyhk学习笔记什么是ElasticSearch? ElasticSearch是基于rest风格,分布式搜索引擎,非常优秀的lucene库.内置的JSON API提供了一个优雅的+ HTTP平台完美 ...
ElasticSearch探索之路（五）集群与分片：选举、动态更新、近实时搜索、事务日志、段合并
文章目录集群内部原理集群与节点分片选举分片内部原理索引不变性动态更新索引近实时搜索事务日志段合并集群内部原理集群与节点一个运行中的Elasticsearch实例称为一个节点, ...
持续定义Saas模式云数据仓库+实时搜索
简介: 本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来<持续定义Saas模式云数据仓库+实时搜索>的相关分享.以下是视频内容精华整理,主要包括以下三个部分:1.W ...

如何用Lucene实现实时搜索--Tripod

如何用Lucene实现实时搜索--Tripod相关推荐

最新文章

热门文章