转自:http://blog.csdn.net/ransom0512/article/details/50440316


简介

VoltDB数据库是一个分布式,可扩展,shared-nothing的内存数据库。使用Java 写的存储过程来定义事务。使用标准SQL访问数据,使用并行的单线程处理方式确保数据一致性,同时避免了传统数据库的锁,插销,资源管理开销。 
VoltDB具有如下特点:

  • 高吞吐量:百万次每秒
  • 横向拓展:可以根据需求自由拓展,性能线性增长。
  • 高可用性:数据支持副本、也可以持久化保存、除此之外,还支持双活机制。
  • 实时数据分析:数据实时性高,因为都是内存计算。
  • 完整ACID支持,保证事务性和可靠性。

VoltDB的设计动机来源于内存成本的大幅下降,系统对于数据的时效性要求越来越高,而传统数据库由于数据在本地文件保存,所以不论并发还是处理速度,都难以满足要求。而新型的NoSQL数据库,又缺乏SQL支持以及完整的ACID的支持,完全无法提单传统数据库。 
VoltDB、NoSQL和传统关系型数据库的对比如下所示: 

设计思路

高吞吐量、实时性

VoltDB通过对传统数据库进行分析,发现数据只有12%的CPU时间在做真正有意义的数据操作,而其他绝大部分时间都被缓存,并发控制等步骤消耗了。

  • 索引管理(Index Management):数据库的索引一般是基于B树的,这些索引会显著消耗IO和CPU。
  • 日志(Logging):传统数据库一般会写两次日志,一个是数据库数据存储部分,一个是数据库恢复日志,而且这些操作都必须强制性刷到磁盘上去,这就带来显著的IO消耗。
  • 锁(Locking):数据的读写操作都会涉及到锁,这是一个十分频繁的操作。
  • 锁管理器(Latching):全局共享的数据比如索引数据,表元数据,资源信息等,都必须保障多线程环境下的可靠运行,所以这种锁管理器无疑会消耗更多的CPU资源。
  • 缓存管理(Buffer Management):数据存储在固定大小的磁盘页中,缓冲池则管理着这些磁盘页,这些都会来言密集的IO操作。

综上,有88%的CPU时间都浪费在这些对于实际操作无意义的步骤上去了,要提升数据库性能,只有从根本上减少这种冗余的步骤,集中进行数据运算,才能完全利用CPU。 
VoltDB通过内存存储、数据分区和无锁计算来实现高性能运算。

  • 内存存储 
    VoltDB所有数据都保存在内存中(可靠性中会有数据刷到磁盘,见VoltDB ACID中可靠性设计), 内存存取速度已经比磁盘远远高出几个数量级了,这就是VoltDB高性能的重要原因。
  • 数据分区 
    VoltDB对每个节点的内存进行管理,在每个节点上创建多个分区,所有分区表中的数据,都分散在各个分区中,然后在读写的时候,就可以实现多个分区并发进行,所以拓展性是线性提升的。 
    这种分区机制也会带来问题,当集群需要扩容的时候,需要停止整个集群,然后再进行扩容;当集群启动的时候,VoltDB会重新调整数据分布,在所有数据分布调整完毕之后,才开始提供服务。
  • 无锁计算 
    VoltDB数据分区存放,在执行SQL语句的时候,客户端就会根据条件自动判断数据在哪个分区中,然后下发至该分区执行。如果查询条件中不包含分区列,那么就会由客户端进行统一控制,在每个分区上都进行查询之后,再统一返回结果,这种场景会极大影响性能。 
    VoltDB的程序都是以存储过程的方式执行的,支持使用java或者其他语言定义存储过程。每个分区的存储过程执行都是单线程线性执行的,这就保证了单分区的无锁设计。当一个语句涉及到多个区分协调读写的时候,VoltDB会在协调,统一锁定分区队列,等该语句执行完毕之后,才会释放锁。所以多分区操作才会如此消耗性能。 
    VoltDB在分区管理上,建议每个物理CPU创建一个分区,这样单个分区内的数据都在CPU的一级缓存和二级缓存上,避免在多个CPU之间的数据操作,最大限度的提升CPU利用率,避免并发锁。所以理论上,VoltDB的CPU使用率是可以达到100%的。

横向拓展

VoltDB多分区设计,使得数据分散在各个分区中,每个分区可以提供并发访问,既提升了性能,也达到了无锁的效果。所以理论上,VoltDB的横向拓展可以使得性能得到线性提升。

高可用性

VoltDB使用K-safety、双活、snapshot、WAL机制组合机制保证数据的高可用性。

  • K-Safety 
    其实就是N+1的副本机制,VoltDB在写数据操作的时候,会在每个副本中执行该语句,这样就可以保证数据被正确插入每个副本。这N+1的副本都可以同时提供访问,同时允许最多N个副本丢失(分区故障), 当N+1个副本都不可用的时候,VoltDB就会停止服务进行修复。
  • 双活 
    多集群双活机制,两个集群都可以提供服务,数据在多分区之间异步复制,当一个集群挂了的时候,另外一个集群提供服务,当异常集群恢复之后,会自动进行数据同步,只有数据一致的时候,才会提供服务。但是这种机制其实还是有问题,有可能导致数据不一致,因此同步复制机制还是需要的。
  • Snapshot 
    由于数据在内存中存放,当节点掉电的时候,数据就会丢失,所以VoltDB会定期对每个分区数据做快照,以备节点掉电时候进行恢复。
  • WAL 
    Write ahead log,VoltDB会在对数据进行插入操作的时候,预先进行写日志操作,这个和传统数据库一样,但是由于是顺序写入,所以性能还是比传统数据库要好很多。 
    Snapshot机制和WAL机制会导致造成性能5%左右的下降,不过这个也是为了完整ACID不得不做出的牺牲。

性能

VoltDB 宣称具备非常高的可伸缩性,超过 120 个分区、39台服务器,可在 300 个 CPU 核心上每秒钟处理 160 万的复杂事务

VoltDB在资料中有一个和数据库进行的性能对比,结果如下: 
Dell R610, 2x 2.66Ghz Quad-Core Xeon 5550 with 12x 4GB (48GB) DDR3-1333 Registered ECC DIMMs, 3x 72GB 15K RPM 2.5in Enterprise SAS 6GBPS Drives 

License

License为AGPL,该许可比GPL要求更加严格,产品即使以WEB的方式发布了,也必须公开源代码。在使用的时候需要小心。

转载于:https://www.cnblogs.com/bonelee/p/6235930.html

VoltDB介绍——本质:数据保存在内存,充分利用CPU,单线程去锁,底层数据结构未知...相关推荐

  1. 微信小程序中如何将数据保存到内存中并且读取的同步写法

    前言 微信小程序保存到内存中有两种方法,一种是同步一种是异步,两个方法有着独特的用处,在小程序控制台中的Storage中可以查看保存到内存中的数据. 保存到内存中也就是我们平常说的本地存储,有一个内存 ...

  2. Android 数据访问之Internal Storage 数据保存在内存 demo+笔记

    首先给大家介绍使用文件如何对数据进行存储,Activity提供了openFileOutput()方法可以用于把数据输出到文件中,具体的实现过程与在J2SE环境中保存数据到文件中是一样的. public ...

  3. [源码]解析 SynchronousQueue 上界,下界.. 数据保存和数据传递. 堵塞队列. 有无频繁await?...

    简析SynchronousQueue.LinkedBlockingQueue(两个locker,更快),ArrayBlockingQueue(一个locker,读写都竞争) 三者都是blockingQ ...

  4. YARN的内存和CPU配置优化

    2019独角兽企业重金招聘Python工程师标准>>> Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用. YARN作为一个资源 ...

  5. 详解 YARN的内存和CPU配置

    一:简单介绍 Hadoop YARN同时支持内存和CPU两种资源的调度,本文介绍如何配置YARN对内存和CPU的使用. YARN作为一个资源调度器,应该考虑到集群里面每一台机子的计算资源,然后根据ap ...

  6. Delphi:ClientDataset+TDataSetProvider的数据保存问题

    看到一篇介绍ClientDataSet和TDataSetProvider,非常精彩,特此保存. ==================================================== ...

  7. Android数据保存之SharedPreference

    前言: 程序中处理的大部分问题都与数据有关,读取数据显示在UI上,读取的数据可以是本地的,也可以是网络的.保存用户数据到存储空间,可以是本地的数据库,文件等,也可以是保存到网络服务器.总之大部分的程序 ...

  8. Java基础-22总结登录注册IO版,数据操作流,内存操作流,打印流,标准输入输出流,转换流,随机访问流,合并流,序列化流,Properties...

    你需要的是什么,直接评论留言. 获取更多资源加微信公众号"Java帮帮" (是公众号,不是微信好友哦) 还有"Java帮帮"今日头条号,技术文章与新闻,每日更新 ...

  9. JVM00_面试官对类加载器子系统、运行时数据区、内存分布、执行引擎的灵虚拷问,你能坚持到第几问?

    因为热爱所以坚持,因为热爱所以等待.熬过漫长无戏可演的日子,终于换来了人生的春天.他逐渐被人熟知,被人喜爱 三年前,在苏州园区某个国企面试,第一道题目便是:JVM是什么吗?然后就是拿着笔试题目被面试官 ...

最新文章

  1. 一个棒棒糖引发的。。。
  2. 【Java基础】Java基本数据类型与位运算
  3. RabbitMQ工作线程代码
  4. 常用数据类型(C#)
  5. Node.js 2021年开发者报告解读
  6. 小技巧教你解决此windows副本不是正版的问题
  7. connect函数在阻塞和非阻塞模式下的行为
  8. Linux在U盘安装python的过程详解
  9. wordpress 文章php,wordpress怎么发长文章
  10. 二维数组矩阵常用实现方法
  11. 【Au】如何消去视频音频中的人声,提取伴奏
  12. newifi刷老毛子笔记
  13. vue3 ref函数用法
  14. ffmpeg将rgba数据转成png图片
  15. 支付宝对账查询+文件下载+解压+遍历文件+读文件
  16. 【漫漫转码路】Python Day 05
  17. 微博转发数据-关键字段及含义
  18. 视频编码失真测度:SAD、SATD、SSD、MSE、PSNR
  19. python3.5配置blib
  20. 图片加水印怎么弄?实用的技巧分享,快来码住

热门文章

  1. Selenium3自动化测试——1. 新建第一个Selenium自动化测试脚本
  2. java sql 返回 json_java访问oracle 返回json 实践(一)
  3. 陀螺仪c语言算法,陀螺仪c程序.docx
  4. 苹果挂端口方法_苹果新系统遭吐槽!SSH 默认规则被破坏,程序员无法登录 Web 服务器......
  5. mysql备份操作_mysql-数据备份操作
  6. laravel5.5的定时任务详解(demo)
  7. 【深度学习】图像自动处理工具SimpleITK的使用(Python)
  8. 习题1.8 二分查找 (20 分)
  9. 网站推广过程中如遇网站降权应从网站推广中哪些细节着手分析?
  10. 网络推广——网络推广专员从多角度分析网站关键词排名受影响因素