本发明属于网络存储技术领域，尤其涉及一种数据库检索机制的构建方法及系统。

背景技术：

随着互联网技术的发展,云端整套的服务解决方案也在与时俱进。传统的KTV应用数据的落地和使用方案比较单调低效，缺乏先进工具和先进设计架构思想的支持,，简单的持久化存储和简单的分表操作，已经使“靠应用数据的驱动业务逻辑”这一软件工程革命性的思想在KTV互联网行业的应用有所落后.越来越多样的数据应用形式必须需要丰富和先进的存储工具和设计模式来支持。

存储引擎是数据库系统中，一种将数据集中存储管理的方式，现有的存储引擎，主要针对关系型数据库，这种存储引擎将关系型数据库中的数据表按照存储方法、索引类型以及锁定水平分区，并将分区后的数据表加载到内存中。

但是现有的存储引擎并没有解除数据之间高度耦合的关系，没有改变数据的存储方法，使得用户在检索数据和进行数据管理时，花费大量的时间进行查找、比对，而且现有的存储引擎没有支持非关系型数据库。因此，现有的存储引擎在面对异构的云存储分布方式时，难以适应数据变化大、数据并发量高等新特点。

技术实现要素：

本发明的目的是解决现有的存储引擎在面对异构的云存储分布方式时，难以适应数据变化大、数据并发量高的不足，提出一种面向分区的数据库检索机制构造方法，该方法利用面向分区的思想，抽象出对数据的操作，屏蔽对底层关系型数据库和非关系型数据的差异，统一对数据的管理和访问控制。

为达到上述目的，本发明实施例一方面提供一种数据库检索机制构建方法，包括如下步骤：

确定使用数据存储方式为关系型数据库或非关系型数据库，分别对关系型数据库和非关系型数据库建立数据访问层；

对所述关系型数据库或所述非关系型数据库中的数据进行数据分区，得到分区数据；

分析业务请求，将不同请求与所述分区数据之间构建对应关系；

在所述构建好的对应关系的基础上，构建数据库检索。

可选的，所述对关系型数据库分层的过程包括如下步骤：

遍历数据库所有的原始数据表，对每张表进行编号，保证编号不重复；

将所述表编号单独存储在另一张表中；

对原始数据表的数据，逐列提取，将提取的数据单独存放在新的数据表中，再将新的数据表中的数据编号，所有从原始数据表逐列提取的数据，在所有的新的数据表中对应的编号一致，且新的数据表中的所有数据编号不重复。

可选的，所述对非关系数据库分层的过程包括如下步骤：

将数据的数据键存储在一张表中，数据键对应的数据值存储在另一张表中，得到两个新的数据表。

可选的，在所述分别对关系型数据库和非关系型数据库建立数据访问层之前，还包括：

对持久化存储的数据进行分库分表；

所述分库和分表包括：

根据文件ID进行分库；以及，根据所述业务需求进行分表。

可选的，还包括：

将访问频率高的数据缓存至抗量银弹。

另一方面，本发明实施例提供一种数据库检索机制构建系统，包括：

访问层构建单元，用于确定使用数据存储方式为关系型数据库或非关系型数据库，分别对关系型数据库和非关系型数据库建立数据访问层；

数据分区单元，用于对所述关系型数据库或所述非关系型数据库中的数据进行数据分区，得到分区数据；

关系构建单元，用于分析业务请求，将不同请求与所述分区数据之间构建对应关系；

检索构建单元，用于在所述构建好的对应关系的基础上，构建数据库检索。

可选的，访问层构建单元包括关系型数据库分层单元，用于：

遍历数据库所有的原始数据表，对每张表进行编号，保证编号不重复；

将所述表编号单独存储在另一张表中；

对原始数据表的数据，逐列提取，将提取的数据单独存放在新的数据表中，再将新的数据表中的数据编号，所有从原始数据表逐列提取的数据，在所有的新的数据表中对应的编号一致，且新的数据表中的所有数据编号不重复。

可选的，访问层构建单元包括非关系型数据库分层单元，用于：

将数据的数据键存储在一张表中，数据键对应的数据值存储在另一张表中，得到两个新的数据表。

可选的，还包括分库分表单元，用于：

对持久化存储的数据进行分库分表；

所述分库和分表包括：

根据文件ID进行分库；以及，根据所述业务需求进行分表。

可选的，还包括：

缓存单元，用于将访问频率高的数据缓存至抗量银弹。

本发明的有益效果是：本发明与传统技术相比较，在现有的云存储架构中，新加入数据分区的概念，该数据分区大幅提高了数据检索和数据管理的效率，简化了关系型数据和非关系型数据处理过程中数据库检索机制的复杂性问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一种数据库检索机制构建方法的流程示意图。

图2为本发明一种数据库检索机制构建系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

KTV行业的的数据应用形式多样,最常见的例子是对点歌数据的应用.

为了提升数据库的查询能力，本发明对数据库做分库分表操作.比如点歌信息库,我们除了按照歌曲ID维度去分库分表，还可以按照业务需求按照KTV维度去分表,或者按照地域、语言、歌手、点歌时间等等去分表。

除了对持久化存储数据的分库分表,数据存储工具的异构对于数据应用多样性的支撑更是决定性的.

对于经常访问的歌曲信息,按照具体的业务逻辑需要,我们可以缓存在redis这种抗量银弹上,不仅能够实现快速存取,还是显著提高并发量,提高系统效率.

ES(ElasticSearch)可以实现搜索需求的逻辑支撑,也可以持久化存储.利用它本身的优势和特点,能够简单地使用JSON通过HTTP来索引数据，我们希望我们的搜索服务器始终可用，我们希望能够从一台开始并扩展到数百台，通过ES进行数据库检索机制完美的解决了这一个问题.

KTV可以通过云端服务器使用多样的数据库检索机制和存储服务,在上传点歌信息的时候,通过异步消息队列直接持久化存储到Mysql中,减少KTV内部Client端的等待延时,提高客户的使用体验。

1.云存储架构

云存储架构，通过添加标准硬件和共享标准网络(公共互联网或私有的企业内部网)提供对数据的访问，云容量和性能具有良好的可扩性。数百台云存储服务器对外提供服务，逻辑上是一个单一的、大型的存储池设备。

本发明所涉及的云存储系统，其结构模型自下而上由以下五层组成，其中第一层(存储层)、第三层(基础管理层)、第四层(访问层)、第五层(应用接口层)为标准的云存储结构模型，第二层是本发明为了构建新的数据库检索机制，而新引入的数据访问层，该数据访问层的构建使用了面向分区编程的思想。下面对各层做进一步的介绍：

11.存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备，可以是NAS和iSCSI等IP存储设备，也可以是SCSI或SAS等DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域，彼此之间通过广域网、互联网或者FC光纤通道网络连接在一起。存储层可以包含存储引擎，存储引擎是一种将数据用各种不同的技术存储在文件(或者内存)中的构建方法。根据各种不同技术中采用的对数据存储方式、索引技巧、锁定水平的不同分区后，最终提供广泛的功能。

本发明即构建存储引擎的方案。

12.数据访问层

数据访问层是使用面向分区编程思想实现的对关系型和非关系型数据库的数据操作。数据访问层向上封装成为具体的程序调用，表现为相同的程序名称，向下实现了对不同类型数据库的访问，将相同的程序名称映射为对不同数据库的具体操作。

13.基础管理层

基础管理层是云存储最核心的部分。基础管理层通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个的存储设备可以对外提供同一种服务，并提供更大更强更好的数据访问性能。

身份认证技术、数据加密技术保证云存储中的数据不会被未授权的用户所访问，同时，通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失，保证云存储自身的安全和稳定。

14.访问层

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统，享受云存储服务。云存储运营单位不同，云存储提供的访问类型和访问手段也不同。

15.应用接口层

云存储最灵活的部分。不同的云存储运营单位可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。

在充分理解上述本发明相关的专用的概念和理论后，下面进一步的介绍本发明的具体实施过程：

如图1所示，一种数据库检索机制构建方法，包括如下步骤：

步骤101，确定使用数据存储方式为关系型数据库或非关系型数据库，分别对关系型数据库和非关系型数据库建立数据访问层；

确定使用数据存储方式为关系型数据库或非关系型数据库，分别对关系型数据库和非关系型数据库建立数据访问层；具体设计如下：

a.关系型数据库可使用的访问方式包括：

ODBC(Open Database Connectivity)：开放数据库互连，

JDBC(Java Database Connectivity)：java数据库连接，

ADO(ActiveX Data Objects)：ActiveX数据对象，

OLEDB(Object Linking and Embedding Database)：对象链接嵌入数据库；

b.非关系型数据库可使用的访问方式包括：

Key-Value：基于键值对的存储方式；

由于上述提及的访问方式均为本领域的现有技术，因此未对其详细展开描述。

步骤102，对所述关系型数据库或所述非关系型数据库中的数据进行数据分区，得到分区数据；

在关系型数据库中，数据是用表的形式存储的，表的每一行就是一条数据，表的每一列就是数据所拥有的属性，由于关系型数据库只针对数据本身，而没有针对数据的属性，所以可以对数据的属性进行分区。

关系型数据库分区的过程如下：

遍历数据库所有的原始数据表，对每张表进行编号，保证编号不重复；

将上一步中的表编号单独存储在另一张表中；

对原始数据表的数据，逐列(一列一属性)提取，将提取的数据单独存放在新的数据表中，再将新的数据表中的数据编号，所有从原始数据表逐列提取的数据，在所有的新的数据表中对应的编号一致，这个编号可以是原始数据表中的主键，也可以用其他方式生成，但要保证新的数据表中的所有数据编号不重复。

在非关系数据库中，数据是用键值对的形式存储的，每一条数据都会有数据键和对应的数据值，所以在对非关系型数据库分区的时候，只需要将数据的数据键存储在一张表中，数据键对应的数据值存储在另一张表中，得到两个新的数据表。

以上用新的数据表存储的数据就是分区数据。

步骤103，分析业务请求，将不同请求与所述分区数据之间构建对应关系；

业务请求可以是一种抽象行为，如数据的操作可抽象为查询、新增、修改、删除、日志等，每一种操作即可作为一个业务请求；本实施方式以查询为例进行说明。

在数据库系统中，首先提取数据操作的接入点，这种数据操作对应具体的数据库操作步骤，具体的数据库操作步骤又需要具体的数据库访问方式，将具体的数据库访问方式封装成一个程序，这个程序可以访问关系型数据库，也可访问非关系型数据库，这个程序作为通知。

应用接口层会向服务器发出请求，发出请求的程序是接入点，请求从接入点发出后，分区操作截获服务请求，捕获接入点的程序作为切点，通过切点捕获到的请求，将由切点判断请求的有效性，如果为无效请求则拦截，如果是有效请求就将请求交给通知进行处理，通知针对具体的请求会转向具体的数据库对象。

具体的数据库对象已经通过第一步变为分区数据，这时，分区数据就是目标对象，如果目标对象本身是对数据的封装，这些封装只是包含了对真实数据的操作，则把包含了对真实数据操作的数据对象称为代理对象，当分区操作要处理分区数据时，就会先处理代理对象，然后通过代理对象，实现对分区数据的操作。

上述通过操作代理对象而间接操作分区数据的过程称为织入。

步骤104，在所述构建好的对应关系的基础上，构建数据库检索。

由于数据的存储本身仍然需要依赖关系型数据库和非关系型数据库，但由于两者结构差异大，数据交换时容易导致访问出错，因此在搭建数据库检索机制的过程中，使用步骤1构建的数据访问方式来分别访问数据库。以此减少由于数据库的差异带来的影响。

关系型数据库存储引擎的构造过程包括如下步骤：

a.将数据的删除、更新及插入操作混合，这样使得数据操作对数据的尺寸产生更少的存储碎片；通过合并相邻被删除的存储块，以及若一个存储块被删除，就扩展到下一存储块的方式可以提高存储的效率。

b.设定每个表的最大索引数。设定每个索引最大的列数是64个。最大的键长度是1024字节。对于键长度超过250字节的情况，使用一个超过1024字节的的键块。

c.如果数据表中间的表没有合适大小的块，则新增一张表来辅助存储。

d.索引文件里设定一个标志，它表明表是否被正确关闭。

e.建立锁机制。在访问数据时加锁，检测死锁的进程在系统中产生死锁之后的很短时间内就检测到死锁的存在。一旦检测到系统中产生了死锁，就通过判断申请数据的时间来选择产生死锁的两个操作，让先申请的操作先执行。若申请的时间相同，则使用超时机制释放锁，两个操作都不执行。

非关系型数据库构造存储引擎构造过程包括如下步骤：

a.选择可用的键值数据结构：

Lists(列表)，

Sets(集合)，

Sorted Sets(有序集合)，

Hashes(哈希表)，

键值的数据类型决定了该键值支持的操作，如列表、集合或有序集合的交集、并集、查集等高级原子操作。

b.将数据键先存储高字节，以允许一个更高地址的索引压缩，当记录以排好序的顺序插入，索引树被重构，以便高字节仅包含一个键。以改善键值数据结构的存储效率。

c.将数据值先存储低字节，再存储高字节，以降低数据值和数据值所运行的数据库环境的依赖性，运行数据库的服务器使用补码和浮点格式来表示数据值，数据行中的字节一般是未联合的，从一个方向读未联合的字节，这样可以使得服务器在获取列值时有更高的效率。

d.主从同步：非关系型数据库的存储介质会部署在异构的系统中，所以存储在异构系统数据库中的数据需要同步，以保证数据的一致性。

异构的系统通过网络连接起来，在网络中，每个异构系统就是一个存储节点，存储节点中的数据需要同步，需就要一个全局定时方式，使得网络中的存储节点在一定的时间内进行数据同步，同步方式可以有主存储节点定时和从存储节点定时两种。主定时工作方式是以本节点时钟源作为定时的工作方式。从定时工作方式是以某一参考基准时间为标准，对本节点时钟源进行锁定后再定时的工作方式。

完成上述步骤后，分区操作完成，使用SOAP协议将处理过后的分区数据转化为XML格式，并根据请求的需要返回给应用接口层相应的数据。

可选的，在所述分别对关系型数据库和非关系型数据库建立数据访问层之前，还包括：

对持久化存储的数据进行分库分表；

所述分库和分表包括：

根据文件ID进行分库；以及，根据所述业务需求进行分表。

可选的，可以以歌厅维度分表、以歌手维度分表、以语言分表等。

可选的，还包括：

将访问频率高的数据缓存至抗量银弹。

为实现快速存取，以及应对高并发量，可以按照具体的业务逻辑需要，缓存在Redis中。

下面结合一个实施例对本发明的技术方案做进一步的描述：假设用户需要选择一个曲目表，需要从类型、语言、歌手、热度三个方面选择适合的歌曲。现在使用面向分区编程的数据库检索机制来处理筛选请求。

步骤1：构建数据访问层。

由于所有的歌曲不在同一个区域，每一个区域的歌曲资料都存储在不同的服务器上，且区域服务器上只存储了类型、语言、歌手的信息，而热度信息存储在云端服务器上，且不同服务器使用的是不同的数据库软件，所以要针对这种异构数据存储建立一套访问数据的机制。

步骤2：对数据进行分区

在建立好访问机制后，将不同数据库中的基本数据从表中读取，将类型、语言、歌手、热度等所有属性单独抽取剪标，并用歌曲ID关联。类型、语言、歌手、热度表中的数据即为分区数据，分区数据就是目标对象。

步骤3，将业务请求和分区数据建立对应关系

业务请求包括读取、删除、排序等操作，假设为读取，分析该读取请求的所有信息，将其与上述分区数据建立对应关系。

步骤4：将所有需要的数据按照筛选条件获取完后，将分散的分区数据重新组成关联的独立信息，呈现在筛选请求者的面前的，是组合完整的曲目信息。

另一方面，本发明实施例提供一种数据库检索机制构建系统，如图2所示，包括：

访问层构建单元201，用于确定使用数据存储方式为关系型数据库或非关系型数据库，分别对关系型数据库和非关系型数据库建立数据访问层；

数据分区单元202，用于对所述关系型数据库或所述非关系型数据库中的数据进行数据分区，得到分区数据；

关系构建单元203，用于分析业务请求，将不同请求与所述分区数据之间构建对应关系；

检索构建单元204，用于在所述构建好的对应关系的基础上，构建数据库检索。

可选的，访问层构建单元包括关系型数据库分层单元，用于：

遍历数据库所有的原始数据表，对每张表进行编号，保证编号不重复；

将所述表编号单独存储在另一张表中；

对原始数据表的数据，逐列提取，将提取的数据单独存放在新的数据表中，再将新的数据表中的数据编号，所有从原始数据表逐列提取的数据，在所有的新的数据表中对应的编号一致，且新的数据表中的所有数据编号不重复。

可选的，访问层构建单元包括非关系型数据库分层单元，用于：

将数据的数据键存储在一张表中，数据键对应的数据值存储在另一张表中，得到两个新的数据表。

可选的，还包括分库分表单元，用于：

对持久化存储的数据进行分库分表；

所述分库和分表包括：

根据文件ID进行分库；以及，根据所述业务需求进行分表。

可选的，还包括：

缓存单元，用于将访问频率高的数据缓存至抗量银弹。

下面结合一个实施例对本发明的技术方案做进一步的描述：假设用户需要选择一个曲目表，需要从类型、语言、歌手、热度三个方面选择适合的歌曲。现在使用面向分区编程的数据库检索机制来处理筛选请求。

步骤1：构建数据访问层。

由于所有的歌曲不在同一个区域，每一个区域的歌曲资料都存储在不同的服务器上，且区域服务器上只存储了类型、语言、歌手的信息，而热度信息存储在云端服务器上，且不同服务器使用的是不同的数据库软件，所以要针对这种异构数据存储建立一套访问数据的机制。

步骤2：对数据进行分区

在建立好访问机制后，将不同数据库中的基本数据从表中读取，将类型、语言、歌手、热度等所有属性单独抽取剪标，并用歌曲ID关联。类型、语言、歌手、热度表中的数据即为分区数据，分区数据就是目标对象。

步骤3，将业务请求和分区数据建立对应关系

业务请求包括读取、删除、排序等操作，假设为读取，分析该读取请求的所有信息，将其与上述分区数据建立对应关系。

步骤4：将所有需要的数据按照筛选条件获取完后，将分散的分区数据重新组成关联的独立信息，呈现在筛选请求者的面前的，是组合完整的曲目信息。

本发明的有益效果是：本发明与传统技术相比较，在现有的云存储架构中，新加入数据分区的概念，该数据分区大幅提高了数据检索和数据管理的效率，简化了关系型数据和非关系型数据处理过程中数据库检索机制的复杂性问题。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的各种说明性的逻辑块，或单元都可以通过通用处理器，数字信号处理器，专用集成电路(ASIC)，现场可编程门阵列或其它可编程逻辑系统，离散门或晶体管逻辑，离散硬件部件，或上述任何组合的设计来实现或操作所描述的功能。通用处理器可以为微处理器，可选地，该通用处理器也可以为任何传统的处理器、控制器、微控制器或状态机。处理器也可以通过计算系统的组合来实现，例如数字信号处理器和微处理器，多个微处理器，一个或多个微处理器联合一个数字信号处理器核，或任何其它类似的配置来实现。

本发明实施例中所描述的构建方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储系统，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。