集算器(仓库版)发布,黑科技获得用户好评
2018年5月16日,集算器(仓库版)携带多项黑科技正式发布。
在发布之前的应用验证中,仓库版就已经用实力赢得了用户的好评。北京银行用户在评价仓库版时表示:在数据分析实践中,高并发访问、大数据量计算造成的系统响应时间过长的问题,始终没有得到很好的解决。集算器(仓库版)的出现,彻底解决了这个难题!用集算器将高频次热点数据前置,构建数据计算中间层,可以说是最佳解决方案,在很多场景下要优于价值百万的数据库产品!
实际的测试也证明,集算器(仓库版)确实表现优异!以性能指标为例,测试目标是高频热点数据,单日三千万行。集算器和GreenPlum执行同样的条件查询,集算器仅用2秒完成,GreenPlum执行了5秒。GP测试环境是5个节点集群,每个节点是2*6核CPU,96G内存的实体机;而集算器所在的服务器仅是1*2核CPU,16G内存的虚拟机。能够大幅超越GP,足见黑科技的威力!
究竟是什么样的黑科技能以如此优异的表现赢得用户的好评呢?下面,我们就一一道来:
黑科技之一:组表
组表又称组合表,是集算器(仓库版)数据存储的基本方式。组表支持数据的部分修改,支持更新恢复,可以安全方便的从全量数据源中同步热点数据。组表支持索引,而且数据本身就是有序存放的,常用的条件过滤计算不依赖索引也能保证高性能。索引在数据修改之后自动更新。
在上边提到的测试中,采用的是列存硬盘存储的方式。组表也可以采取行存和全内存存储数据,支持内存数据库方式运行。
黑科技之二:可并行列存
组表采用的列存机制和常规列存是不同的。常规列存(比如parquet格式),只能分块之后,再在块内列存,在做并行计算的时候是受限的。组表的可并行压缩列存机制,采用倍增分段技术,允许任意分段的并行计算,可以利用多CPU核的计算能力把硬盘的IO发挥到极致。
黑科技之三:集群组表
组表除了具备上述特性之外,还支持把数据分布在多台机器上形成集群组表。集群组表可以利用多机并行来横向扩展计算能力和存储容量。在用法上,集群组表和普通组表是基本相同的。也就是说,集群组表是透明集群,使用者无需关心多节点组表的细节,可以当成一个组表来用。
黑科技之四:主附表统一
有些数据表是同维(一对一)关系或者主子关系。比如:客户表、VIP客户表;用户基本信息、家庭信息、教育经历、工作经历;订单、订单明细。
主附表统一是指将同维表或者主子表放到一个组表中,只存放一份主键。还可以省去这些表的连接(JOIN)计算,减小存储空间,有效提高性能。
黑科技之五:序号键技术
外键关系的连接(JOIN)计算也比较常见,比如销售记录表通过“商品编号”和商品表关联。序号键技术就是把销售记录中的商品编号都改成整数,这个数就是该商品编号对应的商品在商品表中的次序号。
序号键技术使得外键连接(JOIN)计算可以直接使用序号定位,不需要计算和比较HASH值,减少计算时间,提高性能。同时,使用序号键技术这种外键式连接技术方案,很容易把多个连接(JOIN)并行执行。
黑科技之六:JDBC智能网关
集算器对外提供JDBC驱动和简单SQL接口,具备可编程网关机制。通过编写集算器内置的新一代编程语言SPL代码,可以自由的实现高频次热点数据的计算规则。
可以考虑的计算规则包括:分析前端传入的SQL过滤条件中的日期参数,如果命中集算器(仓库版)已经缓存的日期,则认为是热点数据,直接访问。没有命中,则将SQL转发给后台传统数据库执行。集算器还可以记录访问情况,用于分析热点数据的时间和空间分布。
具备诸多黑科技的集算器(仓库版)已经可以与传统数据库、内存数据库等昂贵的产品一较高下,但是其价格却又非常的实在和优惠。可以预见,这款产品必将为您的软件项目带来新的价值和机遇。现在,润乾官网提供全功能的试用版本,立即下载体验吧!
转载于:https://juejin.im/post/5b7d20de6fb9a019ea01fb72
集算器(仓库版)发布,黑科技获得用户好评相关推荐
- 集算器协助MongoDB计算之交叉汇总
MongoDB实现交叉汇总比较困难,如果将数据取出,用Java等高级语言来汇总的话,也相当复杂.因此,可以考虑用集算器esProc辅助MongoDB完成交叉汇总.下面我们通过一个例子来看一下具体做法. ...
- 集算器入门之安装与基本使用
集算器是一款程序化数据运算工具,它能够执行各类数据分析与结构化计算,也可以自由访问数据库,完成在线数据分析. 1.集算器的安装 在下面的官方网站可以下载集算器的安装包: http://www.raqs ...
- cookie追加数据_集算器 SPL 抓取网页数据
[摘要] 集算器 SPL 支持抓取网页数据,根据抓取定义规则,可将网页数据下载到在本地进行统计分析.具体定义规则要求.使用详细情况,请前往乾学院:集算器 SPL 抓取网页数据! 网站上的数据源是我们进 ...
- 支付宝发布黑科技“如影计划”,这真的不是愚人节的玩笑
在众多"玩笑"中,支付宝照样玩出了花. 按照以往愚人节发布"黑科技"的"传统",继往年的视网膜支付.意念支付.空付.到位.蚂上等,支付宝又在 ...
- java跨库join方案_集算器协助java处理多样性数据源之跨库关联
Java的数据计算类库RowSet提供了JoinRowSet和FilteredRowSet类,可以进行跨库的关联计算,但是有很多局限.首先,JoinRowSet只支持inner join,不支持out ...
- 集算器并行处理大文本文件的示例
集算器可以方便地用并行方式处理大文本文件,下面通过一个例子来说明使用方法. 假设有个一千万条销售记录的文本文件sales.txt,其主要字段是SellerID(销售员).OrderDate(订单日期) ...
- 集算器协助Java处理结构化文本之条件过滤
直接用Java实现文本文件中数据按条件过滤会有如下的麻烦: 1.文件不是数据库,不能用SQL访问.当过滤条件变化时需要改写代码.如果要实现象SQL那样灵活的条件过滤,则需要自己实现动态表达式解析和求值 ...
- 集算器访问HTTP数据的代码示例
使用集算器(esProc)可以很方便的从http数据源读取数据进行处理. 本例子中有一个servlet,对外提供json格式的雇员信息查询.Servlet访问数据库的员工表,保存了员工的信息,如下: ...
- 10 行代码,集算器实现写诗机器人
集算器不仅有大数据计算,还有诗和远方.最近看到不少写诗机器人的新闻,于是尝试用集算器简单地实现一个.这个实现真的很简单,简单到只有10几行代码,请看实现步骤: 1.下载字典和诗词 从网上找一个用于分词 ...
- 集算器协助SQL实现非等值分组
SQL通常只能按源表字段进行分组,如果分组依据来自另一张表.外部参数.条件列表,用SQL就很繁琐.有时分组依据需要动态生成,这些往往要借助高级语言实现.有时分组依据和源表不完全对应(或区间没有交集), ...
最新文章
- Java 在指定目录中查找文件
- 【BZOJ3669】【codevs3314】魔法森林,写作LCT,读作SPFA
- linux nfs 默认端口,Linux NFS服务固定端口与防火墙配置
- Domino9下web群组维护添加log维护记录
- 剑指offer---数组中重复的数字
- 在Session中放HashMap在Jsp中用JSTL遍历方法
- 考勤系统java_基于java开发的考勤管理系统
- 自动化专业向往硬件方面靠,有什么好的建议?
- 靠自己。linux manul手册入门
- 寒假第一周 总结与反思
- android桌面壁纸显示不全屏显示,手机壁纸怎么全屏 全屏显示手机壁纸方法
- 单片机 | keil4串口CH430驱动安装失败
- 摄像机模型和双目建模三维点云的理解
- Halcon20算子中文解释
- Unity程序框架总结归置系列(1)——单例基类
- 使用云效构建部署项目
- 狂神学习系列11:SpringBoot
- ccf-csp 2013-2015题目总结
- 基于电力线载波的物联网智能家居控制系统研究方案
- 二维数组实战项目--------《扫雷游戏》
热门文章
- 洛谷 P1181数列分段SectionI 【贪心】
- appserv+win8
- bzoj 2957 楼房重建 分块
- UML Use Case之间的各种关系
- 商城管理系统(前台+后台+管理员+用户+html+jsp)
- 浅谈 Attention 机制的理解
- jmeter断言 判断响应数据是否符合预期
- is内存地址 id 地址比较 小数据池概念
- Linux的磁盘系统和文件系统显示的文件大小为什么不一样(du指令和ls指令的区别)...
- 【转】图解Sql2005创建分区表的全过程