系统简介

HubbleDotNet 是一个基于.net framework 的开源免费的全文搜索数据库组件。开源协议是 Apache 2.0。HubbleDotNet提供了基于SQL的全文检索接口，使用者只需会操作SQL，就可以很快学会使用HubbleDotNet进行全文检索。 HubbleDotNet可以实现全文索引和查询、多域检索和排序、分组统计、消重、分类、聚类、多表关联查询等等一系列全文检索和数据挖掘功能。 HubbleDotNet提供开放的数据库适配器接口，可以和各种数据库完美整合，为各种数据库系统附加全文检索和数据挖掘功能。 HubbleDotNet设计了较为完善的并发控制程序，数据的增删改查可以多线程同时并发进行，没有任何冲突。HubbleDotNet还进行了缓存和内存管理设计，可以帮助用户最大限度的提高查询的效率。HubbleDotNet力争在未来的几年内超过Lucene.net成为.net开发环境中最受欢迎的全文检索组件。

0.9 版本功能列表

1. 索引

2. 查询

3. 删除

4. 更新

5. 基于 SQL 的SQLClient 接口

6. 索引级别缓存

7. 查询级别缓存

8. 数据级别缓存

9. 多字段排序

10. 全文和元数据组合查询

11. 关键字权重指定

12. 字段权重指定

13. 记录权重指定

14. 索引自动优化

15. 索引手工优化

16. 自定义分词器

17. 自定义数据库适配器

18. 系统存储过程

19. 查询分析器

20. 建表，删表

21. 基于数据库现有表或视图创建索引

22. 和数据库现有表或视图索引同步

23. 分组统计

24. Match, Contains, Like 三种查询方式

25. 拆离和附加（备份和恢复）索引

物理视图

HubbleDotNet 将全文搜索和关系数据库整合到一起，通过SQL语句对数据库中的数据进行全文和关系查询。HubbleDotNet组件本身负责对全文数据进行倒排索引，并将索引存储到表所指定的目录下，数据的存储则由和Hubble.net 关联的关系数据库完成。HubbleDotNet提供了一个 IDBAdpter 接口，用户可以根据这个接口实现自定义的数据库适配。如何添加自定义的数据库适配器，将在存储过程一节中阐述。建立倒排索引时需要对输入的全文文本进行分词，HubbleDotNet为用户提供了一个 IAnalyzer 接口来完成自定义的分词器。如何添加自定义的分词器，将在存储过程一节中阐述。HubbleDotNet在安装后以一个系统服务的形式存在。 Hubble.net 提供一个 Hubble.SQLClient 组件来和HubbleDotNet的系统服务进行交互，SQLClient 的接口和Ado.net 中的SqlClient接口类型，具体将在SQLClient一节中阐述。

逻辑视图

HubbleDotNet 和关系数据库一样，存在数据库和数据库表的概念。Hubble.net 的数据库和数据表只是提供一个和对应关系数据库的映射描述关系，并不存在数据库和数据表的实体。用户在通过SQL 语句操作Hubble.net 的数据库和数据表是，Hubble.net 将自动和对应的关系数据库实体进行关联，从用户侧看，Hubble.net就像一个数据库实体。

HubbleDotNet负责建立文本字段的倒排索引和Untokenized字段的单值索引。关系数据库负责建立B+树索引。如果查询语句不包括对全文字段的搜索，则直接转发给数据库利用数据库的索引进行查询。

三级缓存

如上图所示，HubbleDotNet提供三种级别的缓存方案。

Index cache ：索引级别缓存用于缓存倒排索引和单值索引。这种缓存为系统自动管理，不能关闭。索引级别缓存会自动监控数据的增删改，并进行相应修改。

Query cache ：查询级别缓存对查询的条件进行缓存，Hubble.net 系统服务会将不同查询条件对应的文档ID（DocId）缓存下来，下次查询时直接从缓存中获取符合条件的文档ID，不再访问低级别缓存或索引。和索引级别缓存不同的是，当表的数据发生变化时，查询级别缓存将会失效，需要重新缓存。

Data cache ：数据级别缓存运行在客户端，客户端查询得到的数据被缓存下来，下次查询时将从数据缓存中直接获取数据，而不再到Hubble.net 系统服务中去获取数据。和查询级别缓存一样，表的数据发生变化时，数据级别缓存将会失效，需要重新缓存。

并发控制

HubbleDotNet设计了非常完善的并发控制机制，用户的增删改查可以同时进行，不会存在任何冲突。

内存管理

HubbleDotNet 以系统服务存在，不会像Lucene那样和应用程序共用内存。HubbleDotNet设计了一套内存管理机制，用户可以设置最大内存使用数量，一旦 HubbleDotNet使用内存超过这个数量，HubbleDotNet就会自动启动内存整理程序，将一些不经常使用的缓存从内存中清理掉以腾出更多的内存空间给用户。用户可以通过 SP_CONFIGURE 存储过程来查看和管理内存。

HubbleDotNet 与 Lucene.net 的功能对比

功能	Lucene.net	HubbleDotNet
按词条搜索—TermQuery	支持	支持
“与或”搜索—BooleanQuery	支持	支持
在某一范围内搜索—RangeQuery	支持	支持
使用前缀搜索—PrefixQuery	支持	支持
多关键字的搜索—PhraseQuery	支持	支持
相近词语的搜索—FuzzyQuery	支持	通过分词来实现，EnglishAnalyzer 可以完成类似功能
使用通配符搜索—WildcardQuery	支持	通过分词来解决，盘古分词的最新版本已经提供类似解决方案
Contains-多个关键字之间按与方式匹配	不支持	支持
Like-类似数据库的Like '%xx%'	不支持	支持
更新数据-Update	需要删除后再添加	直接调用 Update 语句完成，如果只更新非全文字段，不重新索引，速度非常快
增量索引	支持	支持
不同字段指定不同分词器	不支持	支持
分组统计-Group by	不支持	支持
与关系数据库关联	不支持	可以单表管理，多表关联，基于现有表或视图创建索引
并发控制	读、写、优化等不能同时进行	读、写、优化等可以同时进行
内存管理	不支持	可设定最大内存使用阈值，到这个阈值后会自动将不常访问的缓存清理掉
重建索引（数据不动，只重建全文索引）	不支持	支持
多表关联查询	不支持	0.9 版本部分支持
消重-Distinct	不支持	1.0 版本提供支持
分类，聚类等数据挖掘功能	不支持	后续版本开发

返回 Hubble.net 技术详解

HubbleDotNet 简介 (转)相关推荐

HubbleDotNet开源全文搜索数据库项目--技术详解
HubbleDotNet开源全文搜索数据库项目--技术详解 HubbleDotNet 简介 HubbleDotNet 和 Lucene.net 性能对比测试 HubbleDotNet 和 Lucene ...
分词相关技术（转载）
最近在做问答系统,自己在园子里面找了下资料,觉得不错,自己是菜鸟原创不行,废话不多说了,送上资料. 第一个是关于Lucene的分词技术这里可以下载PDF看,Lucene 原理与代码分析完整版目录如 ...
hubbledotnet mysql_HubbleDotNet 简介
系统简介 HubbleDotNet 是一个基于.net framework 的开源免费的全文搜索数据库组件.开源协议是 Apache 2.0.HubbleDotNet提供了基于SQL的全文检索接口,使 ...
Hubble.net 简介及与Lucene.net 对比测试
系统简介 Hubble.net 是一个基于.net framework 的开源免费的全文搜索数据库组件.开源协议是 Apache 2.0.Hubble.net 提供了基于SQL的全文检索接口,使用者只 ...
etcd 笔记（01）— etcd 简介、特点、应用场景、常用术语、分布式 CAP 理论、分布式原理
1. etcd 简介 etcd 官网定义: A highly-available key value store for shared configuration and service discov ...
Docker学习(一)-----Docker简介与安装
一.Docker介绍 1.1什么是docker Docker是一个开源的应用容器引擎,基于Go语言并遵从Apache2.0协议开源 Docker可以让开发者打包他们的应用以及依赖包到一个轻量级,可移植 ...
【Spring】框架简介
[Spring]框架简介 Spring是什么 Spring是分层的Java SE/EE应用full-stack轻量级开源框架,以IOC(Inverse Of Control:反转控制)和AOP(Asp ...
TensorRT简介
TensorRT 介绍引用:https://arleyzhang.github.io/articles/7f4b25ce/ 1 简介 TensorRT是一个高性能的深度学习推理(Inference) ...
谷粒商城学习笔记——第一期：项目简介
一.项目简介 1. 项目背景市面上有5种常见的电商模式 B2B.B2C.C2B.C2C.O2O B2B 模式(Business to Business),是指商家和商家建立的商业关系.如阿里巴巴 B ...

HubbleDotNet 简介 (转)