leveldb使用指南
这篇文章是levelDB官方文档的译文,原文地址:LevelDB library documentation
这篇文章主要讲leveldb接口使用和注意事项。
leveldb是一个持久型的key-value数据库。key,value可以是任意的字节数组,key之间是有序的。key的比较函数可以由用户指定。
1. 打开数据库
leveldb使用文件系统目录名作为name,并把数据库所有内容都存储在这个目录中。这是个打开数据库,并且指定如果数据库不存在就新建的例子:
#include <cassert>#include "leveldb/db.h"leveldb::DB* db;leveldb::Options options;options.create_if_missing = true;leveldb::Status status = leveldb::DB::Open(options, "/tmp/testdb", &db);assert(status.ok());...
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
如果想在创建数据库时发现已经存在就报错,那么调用leveldb::DB::Open
之前添加下面这一行:
options.error_if_exists = true;
- 1
- 1
2. 返回值状态Status
你也许已经注意到上面的leveldb::Status type
. 这种类型是leveldb大多数函数的返回值,函数的返回值有可能是error。可以通过判断result是不是ok来判断:
leveldb::Status s = ...;if (!s.ok()) cerr << s.ToString() << endl;
- 1
- 2
- 1
- 2
3. 关闭数据库
当数据库操作完成,关闭数据库只需要删除数据库对象:
... open the db as described above ...... do something with db ...delete db;
- 1
- 2
- 3
- 1
- 2
- 3
4. 读和写
数据库提供Put, Delete, and Get
函数来修改查询数据库。下面的例子把key1的值赋给key2:
std::string value;leveldb::Status s = db->Get(leveldb::ReadOptions(), key1, &value);if (s.ok()) s = db->Put(leveldb::WriteOptions(), key2, value);if (s.ok()) s = db->Delete(leveldb::WriteOptions(), key1);
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
5. 原子性更新
如果上面的代码中,再给key2赋值之后,删除key1之前,进程退出了,那么key1 and key2就会有相同的值。这种情况可以使用WriteBatch class
来原子性的进行一系列的更新:
#include "leveldb/write_batch.h"...std::string value;leveldb::Status s = db->Get(leveldb::ReadOptions(), key1, &value);if (s.ok()) {leveldb::WriteBatch batch;batch.Delete(key1);batch.Put(key2, value);s = db->Write(leveldb::WriteOptions(), &batch);}
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
WriteBatch是一系列对数据库的更新操作,并且这些批量操作之间有一定的顺序性。注意到我们虽然在给key2赋值之前删除,使用writebtch最终并不会错误的造成vaue丢失。
撇开writebatch带来的原子性优势,writebatch也能通过把多个更新放在一个批量操里面来加速操作。
6. 同步写
通常情况下,所有的leveldb写操作都是异步的:当leveldb把写操作交个操作系统之后就返回。从操作系统内存到硬盘等持久性存储是异步的。如果在写的时候打开同步写选项,那么只有当数据持久化到硬盘之后才会返回。(On Posix systems, this is implemented by calling either fsync(...)
orfdatasync(...)
or msync(..., MS_SYNC)
before the write operation returns.)
leveldb::WriteOptions write_options;write_options.sync = true;db->Put(write_options, ...);
- 1
- 2
- 3
- 1
- 2
- 3
异步写通常比同步写快1000倍以上。异步写的不足就是当机器宕机时会丢失最后更新的数据。写进程的异常退出并不会造成数据的丢失。
通常情况下异步写能够被妥善的处理。例如,当你在网数据库写大量的数据时,在机器宕机之后能通过重新写一次数据来修复。混合使用同步和异步也是可以的。例如每N次写做一次同步。当机器宕机的时候,只需要重新写最后一次同步写之后的数据。同步写一个新增一个标记来记录上一次同步写的位置。
WriteBatch是一个异步写。一个WriteBatch内部的多个更新操作放在一起也可以使用同步写操作,(i.e., write_options.sync
is set to true). 可以通过批量操作降低同步写的消耗。
7. 并发
一个数据库每次只能被一个进程打开。leveldb为了防止误操作需要一个lock。在一个进程内部,同一个leveldb::DB
对象可以在这个进程的多个并发线程之间安全的共享。 例如,不同的线程可以写,获取指针,或者读取相同的数据库,而不需要额外的同步操作,因为leveldb自动做了请求的同步。然而,其他的对象,例如迭代器或者WriteBatch,需要外部的同步操作。如果两个线程共享同一个这样的对象,那么他们必须用自己的lock protocal对数据库操作进行保护。这在公共的header文件里有更详细的内容。
8. 迭代器
下面的例子说明了如何输出数据库的所有key-value对:
leveldb::Iterator* it = db->NewIterator(leveldb::ReadOptions());for (it->SeekToFirst(); it->Valid(); it->Next()) {cout << it->key().ToString() << ": " << it->value().ToString() << endl;}assert(it->status().ok()); // Check for any errors found during the scandelete it;
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
处理[start,limit)范围内的key:
for (it->Seek(start);it->Valid() && it->key().ToString() < limit;it->Next()) {...}
- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
逆序处理:(逆序会比顺序慢一些)
for (it->SeekToLast(); it->Valid(); it->Prev()) {...}
- 1
- 2
- 3
- 1
- 2
- 3
9. Snapshots快照
快照在整个key-value存储状态上提供了一个持久性的只读视图。非空的ReadOptions::snapshot
提供了一个针对db特定状态的只读视图。如果ReadOptions::snapshot
是NULL,那么读操作是在对当前数据库状态的隐式视图上的进行的。
使用DB::GetSnapshot()
方法创建Snapshots:
leveldb::ReadOptions options;options.snapshot = db->GetSnapshot();... apply some updates to db ...leveldb::Iterator* iter = db->NewIterator(options);... read using iter to view the state when the snapshot was created ...delete iter;db->ReleaseSnapshot(options.snapshot);
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
如果快照不再需要了,应该使用DB::ReleaseSnapshot
接口来释放,这会消除为了维持快照的状态多与操作。
10. Slice分片
上面代码中it->key()
and it->value()
调用的返回值都是leveldb::Slice
类型的实例,slice是一个包含长度和一个纸箱字节数组的简单结构体。因为我们不需要每次都复制很多的keys和values,所以返回Slice比返回std::string是一个更好的选择。另外,level-db不返回以null结尾的c类型的字符串,是因为leveldb允许key和value中包含'\0'
字符。
C++ strings和null-terminated C-style strings可以很容易的转换为Slice:
leveldb::Slice s1 = "hello";std::string str("world");leveldb::Slice s2 = str;
- 1
- 2
- 3
- 4
- 1
- 2
- 3
- 4
A Slice can be easily converted back to a C++ string:
std::string str = s1.ToString();assert(str == std::string("hello"));
- 1
- 2
- 1
- 2
使用slice的时候需要仔细,需要确保在使用slice的时候,他的指针所指向的地址是有效的。例如,下面不正当的使用:
leveldb::Slice slice;if (...) {std::string str = ...;slice = str;}Use(slice);
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
在if的作用域外,str已经被销毁了,所以slice所指向的内存地址已经被释放了。
11. Comparators
前面的例子都是使用默认的排序函数,也就是字典序。另外,我们也在打开数据库的时候也可以指定一个排序比较函数。
例如,假设数据库的key由两个数字组成,我们首先用第一个数字排序,第一个数相等时使用第二个数比较。首先,我们先定义一个leveldb::Comparator
的子类来实现我们的想法:
class TwoPartComparator : public leveldb::Comparator {public:// Three-way comparison function:// if a < b: negative result// if a > b: positive result// else: zero resultint Compare(const leveldb::Slice& a, const leveldb::Slice& b) const {int a1, a2, b1, b2;ParseKey(a, &a1, &a2);ParseKey(b, &b1, &b2);if (a1 < b1) return -1;if (a1 > b1) return +1;if (a2 < b2) return -1;if (a2 > b2) return +1;return 0;}// Ignore the following methods for now:const char* Name() const { return "TwoPartComparator"; }void FindShortestSeparator(std::string*, const leveldb::Slice&) const { }void FindShortSuccessor(std::string*) const { }};
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
使用自定义的comparator创建数据库:
TwoPartComparator cmp;leveldb::DB* db;leveldb::Options options;options.create_if_missing = true;options.comparator = &cmp;leveldb::Status status = leveldb::DB::Open(options, "/tmp/testdb", &db);...
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
12. 后向兼容
当数据库创建的时候comparator的Name()函数也附加在数据库上,并且后续每次打开的时候都会进行检查。如果comparator的name变了,leveldb::DB::Open
就会失败。因此,当且仅当1,新的key格式和比较函数和现存的数据库不兼容,2,丢弃当前的数据库的所有内容也无所谓。的时候才会修改comparator的name.
不过你仍然可以逐渐的进化key的格式。例如,你可以存储为每个key存储一个版本号,(多数情况下一个字节足够用),当想使用一个新的key格式的时候,a,使用相同的comparator name,b,为新的key格式增加版本号,c,修改comparator函数,能通过key里面的版本来判断怎么解析key。
13. 性能
可以通过修改include/leveldb/options.h
里面参数的默认值进行性能调优。
13.1 块大小
leveldb把相邻的key放进同一个block,block是读写数据库时的单元。默认的未压缩block大小是4KB。那些经常对数据库做块读取的应用希望增加块的大小。如果把块大小调小对性能有提升的话,那些经常随机数据库的应用会希望减小块的大小。一般来说,块小于1KB或者大于几MB是无益的。并且,当块比较大的时候数据压缩效率会高一些。
13.2 压缩
每个块在写到持久存储之前是独立进行压缩的。由于默认的压缩算法非常快,所以压缩默认是打开的。并且,对于不可压缩的数据,也会自动停止压缩。在很少的情况下,应用程序可能会完全禁用压缩,但是除非benchmark表明性能有提成否则不建议这么做。
leveldb::Options options;options.compression = leveldb::kNoCompression;... leveldb::DB::Open(options, name, ...) ....
- 1
- 2
- 3
- 1
- 2
- 3
13.3 Cache
数据库的内容存储在文件系统上的一系列文件中。每个文件里面有很多的压缩数据块。如果options.cache
是非空的,那么数据库会使用cache来缓存经常使用的未压缩的数据块。
#include "leveldb/cache.h"leveldb::Options options;options.cache = leveldb::NewLRUCache(100 * 1048576); // 100MB cacheleveldb::DB* db;leveldb::DB::Open(options, name, &db);... use the db ...delete dbdelete options.cache;
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
cache存的是未压缩的数据,因此,cache需要根据应用层的数据大小,计算应该缓存的数据量。当进行批量读的时候,应用可能会希望禁用cache,以防止批量读的数据不要把已经缓存的内容替换掉。一个顺序指针可以满足要求:
leveldb::ReadOptions options;options.fill_cache = false;leveldb::Iterator* it = db->NewIterator(options);for (it->SeekToFirst(); it->Valid(); it->Next()) {...}
- 1
- 2
- 3
- 4
- 5
- 6
- 1
- 2
- 3
- 4
- 5
- 6
13.4 Key Layout
数据传输单位和缓存单位都是数据块。根据数据库排序算法,相邻的key一般情况下会放在同一个数据块里面。因此,通过把经常一起访问的相邻key放在一个block里面,把不经常使用的key放在分隔的块里面,应用程序可以提升性能。
例如,我们在leveldb之上实现一个文件系统。我们希望entry的类型会这样存储:
filename -> permission-bits, length, list of file_block_idsfile_block_id -> data
- 1
- 2
- 1
- 2
我们希望文件名的前缀是某个字符,如’/’,file_block_id的前缀是不同的字符,例如’0’,这样我们就能只浏览metadate,而不用强制缓存大量的文件内容了。
13.5 过滤器Filters
由于leveldb在磁盘上组织数据的方式,一个Get()
调用可能导致多次磁盘读操作。可选的FilterPolicy机制可以潜在的减少磁盘读操作。
leveldb::Options options;options.filter_policy = NewBloomFilterPolicy(10);leveldb::DB* db;leveldb::DB::Open(options, "/tmp/testdb", &db);... use the database ...delete db;delete options.filter_policy;
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 1
- 2
- 3
- 4
- 5
- 6
- 7
上面的代码在数据库中使用一个基于Bloom filter的filtering策略。基于Bloom filter的filtering策略为每个key在内存保存一些数据位,这上面的例子中,为每个key保存10位),这个filter可以降低Get()
调用操作中不必要的磁盘读大概100倍。增加每个key的位数可以更大的降低磁盘读,但是会增加内存的使用。建议那些工作集不适合放在内存的应用,以及随机读比较多的应用使用filter policy。
如果你使用的是自定义的comparator,应该确保filter policy和comparator是兼容的。例如,一个在key进行比较的时候会删除前后的空格的comparator。应用程序也应该提供一个忽略前后空格的自定义filter policy。例如:
class CustomFilterPolicy : public leveldb::FilterPolicy {private:FilterPolicy* builtin_policy_;public:CustomFilterPolicy() : builtin_policy_(NewBloomFilterPolicy(10)) { }~CustomFilterPolicy() { delete builtin_policy_; }const char* Name() const { return "IgnoreTrailingSpacesFilter"; }void CreateFilter(const Slice* keys, int n, std::string* dst) const {// Use builtin bloom filter code after removing trailing spacesstd::vector<Slice> trimmed(n);for (int i = 0; i < n; i++) {trimmed[i] = RemoveTrailingSpaces(keys[i]);}return builtin_policy_->CreateFilter(&trimmed[i], n, dst);}bool KeyMayMatch(const Slice& key, const Slice& filter) const {// Use builtin bloom filter code after removing trailing spacesreturn builtin_policy_->KeyMayMatch(RemoveTrailingSpaces(key), filter);}};
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 9
- 10
- 11
- 12
- 13
- 14
- 15
- 16
- 17
- 18
- 19
- 20
- 21
- 22
- 23
高级应用程序可以使用不依赖 bloom filter的策略,或者根据key集合的特征提供自己的filter policy。详情可以参照leveldb/filter_policy.h
。
14. 校验和
leveldb把校验和和存储在文件系统中的数据联系起来。下面是两种校验和验证的方式:
ReadOptions::verify_checksums
可以设置为true,来强制对从文件系统读取的所有数据进行校验和验证。默认不使用。
Options::paranoid_checks
可以在打开数据库之前设置为true,来确保一旦检测到内部错误就尽快抛出异常。当数据库打开的时候可能抛出异常,或者后续的数据库操时抛出。默认情况下,会禁用多疑的检测,这样的话,即使部分持久性存储崩溃数据库依旧可以使用。
如果数据库崩溃了,如果多疑检测打开的话,可能无法打开这个数据库,可以使用leveldb::RepairDB
函数来修复尽可能多的数据。
15. 空间估算
GetApproximateSizes
方法可以用来估算一个或多个key占用文件系统空间。
leveldb::Range ranges[2];ranges[0] = leveldb::Range("a", "c");ranges[1] = leveldb::Range("x", "z");uint64_t sizes[2];leveldb::Status s = db->GetApproximateSizes(ranges, 2, sizes);
- 1
- 2
- 3
- 4
- 5
- 1
- 2
- 3
- 4
- 5
上面的代码中,size[0]是key范围在[a..c)之间的内容占用的文件空间的大小估算值。sizes[1]是key范围在[a..c)之间的内容占用的文件空间的大小估算值。
16. 环境变量
leveldb所有文件操作和其他的系统调用通过leveldb::Env
对象来判断如何使用,复杂的客户端可能希望提供自己的Env实现做到更好的控制。例如,应用程序可以人为为文件IO操作增加延时以降低leveldb对系统的其他应用带来的影响。
class SlowEnv : public leveldb::Env {.. implementation of the Env interface ...};SlowEnv env;leveldb::Options options;options.env = &env;Status s = leveldb::DB::Open(options, ...);
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
- 1
- 2
- 3
- 4
- 5
- 6
- 7
- 8
17. 可移植性
通过提供leveldb/port/port.h
引用的types/methods/functions
的平台特定实现,leveldb就能移植到新的平台。leveldb/port/port_example.h
里面有更详细的内容。
另外,新平台可能需要新的leveldb::Env
实现。See leveldb/util/env_posix.h
for an example.
18. 其他
leveldb的更多实现细节可以看下面的文档:
levelDB实现细节
levelDB immutable Table的文件格式
leveldb日志文件格式
leveldb使用指南相关推荐
- 编写区块链_编写由区块链驱动的在线社区的综合指南
编写区块链 by Sandeep Panda 通过Sandeep Panda 编写由区块链驱动的在线社区的综合指南 (A comprehensive guide to coding a blockch ...
- 【Flink】Flink on RocksDB 参数调优指南
1. 背景 对于需要保存超大状态(远超于内存容量)的流计算场景来说,目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择.业界也有使用 Redis 等其他服务作为状态后端的方案,但终 ...
- leveldb代码阅读笔记(一)
leveldb代码阅读笔记 above all leveldb是一个单机的键值存储的内存数据库,其内部使用了 LSM tree 作为底层存储结构,支持多版本数据控制,代码设计巧妙且简洁高效,十分值得作 ...
- Flink on RocksDB 参数调优指南
对于需要保存超大状态(远超于内存容量)的流计算场景来说,目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择.业界也有使用 Redis 等其他服务作为状态后端的方案,但终究不够成熟, ...
- 深度学习服务器装机指南
深度学习服务器装机指南(TITAN V显卡) 基本配置: 系统:ubuntu 16.04 显卡:TITAN V 安装xfce图形界面替换ubuntu自带界面 1.1离线安装 (1)通过apt-get ...
- Akka 指南 之「持久化」
温馨提示:Akka 中文指南的 GitHub 地址为「akka-guide」,欢迎大家Star.Fork,纠错. 文章目录 持久化 依赖 示例项目 简介 体系结构 事件源 标识符 恢复 恢复自定义 恢 ...
- Hadoop生态圈(三十四)- YARN WebUI服务使用指南
目录 前言 1. WebUI V1使用指南 1.1 首页 1.2 应用程序分析 2. HistoryServer服务 2.1 JobHistoryServer管理MR应用 2.1.1 提交MR应用程序 ...
- Java工程师入门到精通学习指南
一.基础篇 1.1 JVM 1.1.1. Java内存模型,Java内存管理,Java堆和栈,垃圾回收 http://www.jcp.org/en/jsr/detail?id=133 http://i ...
- 超详细中文预训练模型ERNIE使用指南-源码
作者 | 高开远,上海交通大学,自然语言处理研究方向 最近在工作上处理的都是中文语料,也尝试了一些最近放出来的预训练模型(ERNIE,BERT-CHINESE,WWM-BERT-CHINESE),比对 ...
最新文章
- 2019,不可错过的NLP“高光时刻”
- tensorflow教程 学习笔记 之 Eager execution 急切执行
- TCP/IP面试常问合集,JavaWeb内容及HTTP协议
- 13-5 15 xshell使用xftp pure-ftpd
- [深度学习-优化]dropout防止过拟合的理解
- Java程序设计语言基础01:绪论
- 80X86 汇编指令符号大全
- c语言 extern_C语言入门笔记(三)
- QT记事本的读写函数
- Linux设置免密登录
- SPI通信调试(ADXL362)
- Comsol多孔介质内的粒子流动案例,可以追踪粒子运动轨迹
- Java加密体系结构(JCA)参考指南
- character在mysql什么类型_character是什么字段类型
- Aircrack-ng破解WEP
- 正则表达式的进阶用法——预查与分组
- 技术角度看生活之北京公交兵法版实战攻略
- 免安装版mysql使用_免安装版MySql使用
- 佛说,是我们自己苦了自己~
- 信用卡如何使用?广发卡自动分期教你这样养卡技巧
热门文章
- 数字加密c语言程序_国外程序员整理的 C++ 资源大全
- 脚本启动显示查询频繁被服务器防御_又被CC攻击弄得心有余悸?莫怕!这里教你如何防御...
- oracle rowed,oracle bitmap索引内部揭密,欢迎补充
- php 在线人数 mysql_PHP+MYSQL实例:编写网站在线人数的程序代码
- php curl header_PHP中的yield与协程(二十一节)
- java velocity是什么意思_基于 Java 的模板引擎Velocity快速入门
- linux伙伴系统接口,Linux伙伴系统(一)--伙伴系统的概述
- 计算机网络 --- 数据链路层CSMA/CD协议
- mysql报错last packet_mysql The last packet successfully received
- cnetos7 mysql5.6 utf8设置_CentOS7下安装MySQL 5.6修改字符集为utf8并开放端口允许远程访问...