2018年5月16日,集算器(仓库版)携带多项黑科技正式发布。

在发布之前的应用验证中,仓库版就已经用实力赢得了用户的好评。北京银行用户在评价仓库版时表示:在数据分析实践中,高并发访问、大数据量计算造成的系统响应时间过长的问题,始终没有得到很好的解决。集算器(仓库版)的出现,彻底解决了这个难题!用集算器将高频次热点数据前置,构建数据计算中间层,可以说是最佳解决方案,在很多场景下要优于价值百万的数据库产品!

实际的测试也证明,集算器(仓库版)确实表现优异!以性能指标为例,测试目标是高频热点数据,单日三千万行。集算器和GreenPlum执行同样的条件查询,集算器仅用2秒完成,GreenPlum执行了5秒。GP测试环境是5个节点集群,每个节点是2*6核CPU,96G内存的实体机;而集算器所在的服务器仅是1*2核CPU,16G内存的虚拟机。能够大幅超越GP,足见黑科技的威力!

究竟是什么样的黑科技能以如此优异的表现赢得用户的好评呢?下面,我们就一一道来:

黑科技之一:组表

组表又称组合表,是集算器(仓库版)数据存储的基本方式。组表支持数据的部分修改,支持更新恢复,可以安全方便的从全量数据源中同步热点数据。组表支持索引,而且数据本身就是有序存放的,常用的条件过滤计算不依赖索引也能保证高性能。索引在数据修改之后自动更新。

在上边提到的测试中,采用的是列存硬盘存储的方式。组表也可以采取行存和全内存存储数据,支持内存数据库方式运行。

黑科技之二:可并行列存

组表采用的列存机制和常规列存是不同的。常规列存(比如parquet格式),只能分块之后,再在块内列存,在做并行计算的时候是受限的。组表的可并行压缩列存机制,采用倍增分段技术,允许任意分段的并行计算,可以利用多CPU核的计算能力把硬盘的IO发挥到极致。

黑科技之三:集群组表

组表除了具备上述特性之外,还支持把数据分布在多台机器上形成集群组表。集群组表可以利用多机并行来横向扩展计算能力和存储容量。在用法上,集群组表和普通组表是基本相同的。也就是说,集群组表是透明集群,使用者无需关心多节点组表的细节,可以当成一个组表来用。

黑科技之四:主附表统一

有些数据表是同维(一对一)关系或者主子关系。比如:客户表、VIP客户表;用户基本信息、家庭信息、教育经历、工作经历;订单、订单明细。

主附表统一是指将同维表或者主子表放到一个组表中,只存放一份主键。还可以省去这些表的连接(JOIN)计算,减小存储空间,有效提高性能。

黑科技之五:序号键技术

外键关系的连接(JOIN)计算也比较常见,比如销售记录表通过“商品编号”和商品表关联。序号键技术就是把销售记录中的商品编号都改成整数,这个数就是该商品编号对应的商品在商品表中的次序号。

序号键技术使得外键连接(JOIN)计算可以直接使用序号定位,不需要计算和比较HASH值,减少计算时间,提高性能。同时,使用序号键技术这种外键式连接技术方案,很容易把多个连接(JOIN)并行执行。

黑科技之六:JDBC智能网关

集算器对外提供JDBC驱动和简单SQL接口,具备可编程网关机制。通过编写集算器内置的新一代编程语言SPL代码,可以自由的实现高频次热点数据的计算规则。

可以考虑的计算规则包括:分析前端传入的SQL过滤条件中的日期参数,如果命中集算器(仓库版)已经缓存的日期,则认为是热点数据,直接访问。没有命中,则将SQL转发给后台传统数据库执行。集算器还可以记录访问情况,用于分析热点数据的时间和空间分布。

具备诸多黑科技的集算器(仓库版)已经可以与传统数据库、内存数据库等昂贵的产品一较高下,但是其价格却又非常的实在和优惠。可以预见,这款产品必将为您的软件项目带来新的价值和机遇。现在,润乾官网提供全功能的试用版本,立即下载体验吧!

转载于:https://juejin.im/post/5b7d20de6fb9a019ea01fb72

集算器(仓库版)发布,黑科技获得用户好评相关推荐

  1. 集算器协助MongoDB计算之交叉汇总

    MongoDB实现交叉汇总比较困难,如果将数据取出,用Java等高级语言来汇总的话,也相当复杂.因此,可以考虑用集算器esProc辅助MongoDB完成交叉汇总.下面我们通过一个例子来看一下具体做法. ...

  2. 集算器入门之安装与基本使用

    集算器是一款程序化数据运算工具,它能够执行各类数据分析与结构化计算,也可以自由访问数据库,完成在线数据分析. 1.集算器的安装 在下面的官方网站可以下载集算器的安装包: http://www.raqs ...

  3. cookie追加数据_集算器 SPL 抓取网页数据

    [摘要] 集算器 SPL 支持抓取网页数据,根据抓取定义规则,可将网页数据下载到在本地进行统计分析.具体定义规则要求.使用详细情况,请前往乾学院:集算器 SPL 抓取网页数据! 网站上的数据源是我们进 ...

  4. 支付宝发布黑科技“如影计划”,这真的不是愚人节的玩笑

    在众多"玩笑"中,支付宝照样玩出了花. 按照以往愚人节发布"黑科技"的"传统",继往年的视网膜支付.意念支付.空付.到位.蚂上等,支付宝又在 ...

  5. java跨库join方案_集算器协助java处理多样性数据源之跨库关联

    Java的数据计算类库RowSet提供了JoinRowSet和FilteredRowSet类,可以进行跨库的关联计算,但是有很多局限.首先,JoinRowSet只支持inner join,不支持out ...

  6. 集算器并行处理大文本文件的示例

    集算器可以方便地用并行方式处理大文本文件,下面通过一个例子来说明使用方法. 假设有个一千万条销售记录的文本文件sales.txt,其主要字段是SellerID(销售员).OrderDate(订单日期) ...

  7. 集算器协助Java处理结构化文本之条件过滤

    直接用Java实现文本文件中数据按条件过滤会有如下的麻烦: 1.文件不是数据库,不能用SQL访问.当过滤条件变化时需要改写代码.如果要实现象SQL那样灵活的条件过滤,则需要自己实现动态表达式解析和求值 ...

  8. 集算器访问HTTP数据的代码示例

    使用集算器(esProc)可以很方便的从http数据源读取数据进行处理. 本例子中有一个servlet,对外提供json格式的雇员信息查询.Servlet访问数据库的员工表,保存了员工的信息,如下: ...

  9. 10 行代码,集算器实现写诗机器人

    集算器不仅有大数据计算,还有诗和远方.最近看到不少写诗机器人的新闻,于是尝试用集算器简单地实现一个.这个实现真的很简单,简单到只有10几行代码,请看实现步骤: 1.下载字典和诗词 从网上找一个用于分词 ...

  10. 集算器协助SQL实现非等值分组

    SQL通常只能按源表字段进行分组,如果分组依据来自另一张表.外部参数.条件列表,用SQL就很繁琐.有时分组依据需要动态生成,这些往往要借助高级语言实现.有时分组依据和源表不完全对应(或区间没有交集), ...

最新文章

  1. Java 在指定目录中查找文件
  2. 【BZOJ3669】【codevs3314】魔法森林,写作LCT,读作SPFA
  3. linux nfs 默认端口,Linux NFS服务固定端口与防火墙配置
  4. Domino9下web群组维护添加log维护记录
  5. 剑指offer---数组中重复的数字
  6. 在Session中放HashMap在Jsp中用JSTL遍历方法
  7. 考勤系统java_基于java开发的考勤管理系统
  8. 自动化专业向往硬件方面靠,有什么好的建议?
  9. 靠自己。linux manul手册入门
  10. 寒假第一周 总结与反思
  11. android桌面壁纸显示不全屏显示,手机壁纸怎么全屏 全屏显示手机壁纸方法
  12. 单片机 | keil4串口CH430驱动安装失败
  13. 摄像机模型和双目建模三维点云的理解
  14. Halcon20算子中文解释
  15. Unity程序框架总结归置系列(1)——单例基类
  16. 使用云效构建部署项目
  17. 狂神学习系列11:SpringBoot
  18. ccf-csp 2013-2015题目总结
  19. 基于电力线载波的物联网智能家居控制系统研究方案
  20. 二维数组实战项目--------《扫雷游戏》

热门文章

  1. 洛谷 P1181数列分段SectionI 【贪心】
  2. appserv+win8
  3. bzoj 2957 楼房重建 分块
  4. UML Use Case之间的各种关系
  5. 商城管理系统(前台+后台+管理员+用户+html+jsp)
  6. 浅谈 Attention 机制的理解
  7. jmeter断言 判断响应数据是否符合预期
  8. is内存地址 id 地址比较 小数据池概念
  9. Linux的磁盘系统和文件系统显示的文件大小为什么不一样(du指令和ls指令的区别)...
  10. 【转】图解Sql2005创建分区表的全过程