ORACLE大数据查询

今天遇见一个问题：

大家都知道一件事：没索引的数据库基本上查不了大数据。
比如说：有条数据有20亿条数据。然后查询某个数据，如果这个数据上没有索引，当场GG。

我们这边创建了一个索引，是按照时间进行索引的。按照时间进行文件分区。
比如说：一日的数据存在一个文件中，下一个日的数据存在下一个文件分区。查询的时候首先定位到：时间点，然后通过时间点定位到磁盘空间，查询该空间。

我觉得这个人是个人才。

核心要点：
1.磁盘空间要连续，不要碎片化。
2.数据的空间储存要连续，不要在两个数据之间插入数据（使用自增索引）
3.建立可靠的索引，保证所有查询都走索引。
4.尽量减少单表的大小，比如一个月数据一个表，超过一个月的放在另外一个表。
5.加钱买更好的硬盘和SSD。
6.通过hash索引提高查询速度。
7.拒绝跨时间区间大的数据查询。
8.自动查杀查询时间过长的SQL，保证绝大多数用户可靠连接。

但是今天有个问题：跨文件查询。
比如说：我既然是以一个周作为粒度分文件，那么如果我要查询三个月内按照XX参数的文件进行统计，请问怎么办？
一次要跨90个文件分区，就是索引文件跨度是一日的90倍。
比如说：查询当天的300个数据，这个很容易。
查询一年内的300个数据，基本上GG。

有自增索引，但是没有用：基本上自增和时间是完全一致的。

但是按照开发的说法，似乎是文件以日作为分区，文件已经分好了。

只能对应SQL创建对应的索引。一个SQL一个索引，而且必须是hash索引，不然基本上挂了。

有大佬解决一下这个问题，我自己反正是没啥办法。

更新：同事也和我一个逻辑，哈希索引……
今天开发正在创建索引……但是可能有几十亿的数据，创建索引是不是会卡死？这个我不太确定。

这么有风险的事情交给同事做……自己划水就OK了。

ORACLE大数据查询相关推荐

MySQL 和 Oracle 大数据量分页查询方法及其优化
MySQL大数据量分页查询方法及其优化 ---方法1: 直接使用数据库提供的SQL语句 ---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N ---适 ...
开源大数据查询分析引擎
引言大数据查询分析是云计算中核心问题之一,自从Google在2006年之前的几篇论文奠定云计算领域基础,尤其是GFS.Map-Reduce.Bigtable被称为云计算底层技术三大基石.GFS.Ma ...
JavaWeb学习总结(三十五)——使用JDBC处理Oracle大数据
一.Oracle中大数据处理在Oracle中,LOB(Large Object,大型对象)类型的字段现在用得越来越多了.因为这种类型的字段,容量大(最多能容纳4GB的数据),且一个表中可以有多个这种 ...
使用JDBC处理Oracle大数据
一.Oracle中大数据处理在Oracle中,LOB(Large Object,大型对象)类型的字段现在用得越来越多了.因为这种类型的字段,容量大(最多能容纳4GB的数据),且一个表中可以有多个这种 ...
全方位测评Hive、SparkSQL、Presto 等七个大数据查询引擎，最快的竟是……| 程序员硬核测评...
现在大数据组件非常多,众说不一,那么每个企业在不同的使用场景里究竟应该使用哪个引擎呢?易观Spark实战营团队选取了Hive.SparkSQL.Presto.Impala.HAWQ.ClickHous ...
Oracle数据库数据查询语句示例（包含大部分常用语句）
Oracle数据库数据查询语句示例(包含大部分常用语句) 目标本文用到的关系模式语句示例 1．在创建的s,p,j和spj表中完成以下查询 (1)查询零件重量在10-20之间(包括10和20)的零件 ...
实验五 oracle高级数据查询技术
实验五 oracle高级数据查询技术实验目的: 一.掌握日期型数据的操作技术二.掌握层次查询技术三.理解情景查询与翻译查询技术四.了解统计查询技术实验内容: 一.日期型数据的操作 ...
Oracle 大数据集成实施
Oracle 大数据实施架构 Oracle为广大客户提供了一个预装的用于测试和学习目的的免费大数据环境.你可以在这个环境中对Oracle大数据一体机(Big Data Appliance)上的可选软件 ...
大数据查询分析引擎比较
1.常见方案比较首先,Hive/SparkSQL 在数据仓库的领域应用是比较广泛的,但是因为查询时延很难能够满足毫秒到秒级的要求,同时因为是离线计算,数据时效性也比较差. 其次,ES (Elasti ...
数据库与elasticSearch，大数据查询性能PK
每天早上七点三十,准时推送干货一.介绍在这篇文章中利用springboot+elasticSearch,实现数据高效搜索,实战开发,我们介绍了 SpringBoot 整合 ElasticSear ...

ORACLE大数据查询

ORACLE大数据查询相关推荐

最新文章

热门文章