MMKV数据存储组件的使用介绍

.

介绍

MMKV 是微信开源的基于 mmap 内存映射的 key-value 组件,底层序列化/反序列化使用 protobuf 实现,性能高,稳定性强。已移植到 Android / macOS / Win32 / POSIX 平台,一并开源。

.

优点:

  1. 数据加密 : 在 Android 环境里,数据加密是非常必须的,SP实际上是把键值对放到本地文件中进行存储。如果要保证数据安全需要自己加密,MMKV 使用了 AES CFB-128 算法来加密/解密。

  2. 多进程共享 : 系统自带的 SharedPreferences 对多进程的支持不好。现有基于 ContentProvider 封装的实现,虽然多进程是支持了,但是性能低下,经常导致 ANR。考虑到 mmap 共享内存本质上是多进程共享的,MMKV 在这个基础上,深入挖掘了 Android 系统的能力,提供了可能是业界最高效的多进程数据共享组件。

  3. 匿名内存 : 在多进程共享的基础上,考虑到某些敏感数据(例如密码)需要进程间共享,但是不方便落地存储到文件上,直接用 mmap 不合适。而Android 系统提供了 Ashmem 匿名共享内存的能力,它在进程退出后就会消失,不会落地到文件上,非常适合这个场景。MMKV 基于此也提供了 Ashmem(匿名共享内存) MMKV 的功能。

  4. 效率更高 : MMKV 使用protobuf进行序列化和反序列化,比起SP的xml存放方式,更加高效。

  5. 支持从 SP迁移 : 如果你之前项目里面都是使用SP,现在想改为使用MMKV,只需几行代码即可将之前的SP实现迁移到MMKV。

原理

MMKV 本质上是将文件 mmap 到内存块中,将新增的 key-value 统统 append 到内存中;到达边界后,进行重整回写以腾出空间,空间还是不够的话,就 double 内存空间;对于内存文件中可能存在的重复键值,MMKV 只选用最后写入的作为有效键值。

核心过程:

  • 内存准备

通过 mmap 内存映射文件,提供一段可供随时写入的内存块,App 只管往里面写数据,由操作系统负责将内存回写到文件,不必担心 crash 导致数据丢失。

  • 数据组织

数据序列化方面我们选用 protobuf 协议,pb 在性能和空间占用上都有不错的表现。

  • 写入优化(重点)

考虑到主要使用场景是频繁地进行写入更新,我们需要有增量更新的能力。我们考虑将增量 kv 对象序列化后,append 到内存末尾。

  • 空间增长(重点)

使用 append 实现增量更新带来了一个新的问题,就是不断 append 的话,文件大小会增长得不可控。我们需要在性能和空间上做个折中。

  • 数据有效性

考虑到文件系统、操作系统都有一定的不稳定性,我们另外增加了 crc 校验,对无效数据进行甄别。在 iOS 微信现网环境上,我们观察到有平均约 70万日次的数据校验不通过。

.

支持的数据类型

1. 支持以下 Java 语言基础类型:

  • booleanintlongfloatdoublebyte[]

2. 支持以下 Java 类和容器:

  • StringSet<String>
  • 任何实现了Parcelable(序列化)的类型

.

.

MMKV简单使用

.

添加 MMKV 的依赖

build.gradle 文件里添加:

dependencies {implementation 'com.tencent:mmkv:1.2.7'
}

在Application里面初始化MMKV

public void onCreate() {super.onCreate();//初始化MMKV组件String rootDir = MMKV.initialize(this);//打印MMKV文件的存放根目录(可以不写)System.out.println("mmkv root: " + rootDir);
}

.

MMKV组件的CRUD(增删改查) 操作

MMKV 提供一个全局的实例,可以通过这个实例来使用里面的API,完成相关的操作

.

1. 添加数据

//获取MMKV的实例对象
MMKV kv = MMKV.defaultMMKV();//向MMKV中添加Boolean类型的数据
kv.encode("bool", true);
System.out.println("bool: " + kv.decodeBool("bool"));//向MMKV中添加Int类型的数据
kv.encode("int", Integer.MIN_VALUE);
System.out.println("int: " + kv.decodeInt("int"));//向MMKV中添加Long类型的数据
kv.encode("long", Long.MAX_VALUE);
System.out.println("long: " + kv.decodeLong("long"));//向MMKV中添加Dloat类型的数据
kv.encode("float", -3.14f);
System.out.println("float: " + kv.decodeFloat("float"));//向MMKV中添加Double类型的数据
kv.encode("double", Double.MIN_VALUE);
System.out.println("double: " + kv.decodeDouble("double"));//向MMKV中添加String类型的数据
kv.encode("string", "Hello from mmkv");
System.out.println("string: " + kv.decodeString("string"));//向MMKV中添加Byte类型的数据
byte[] bytes = {'m', 'm', 'k', 'v'};
kv.encode("bytes", bytes);
System.out.println("bytes: " + new String(kv.decodeBytes("bytes")));

.

如果不同业务需要区别存储,也可以单独创建自己的实例

MMKV mmkv = MMKV.mmkvWithID("MyID");
mmkv.encode("String", "萝莉");

.

如果业务需要多进程访问,那么在初始化的时候加上标志位 MMKV.MULTI_PROCESS_MODE

MMKV mmkv = MMKV.mmkvWithID("InterProcessKV", MMKV.MULTI_PROCESS_MODE);
mmkv.encode("String", "萝莉");

注意:
MMKV 的写入逻是: 当我们覆盖某个值的时候,它并不会立即删除前面的值,会保留,然后每个 keyvalue 有存储限制,当触发存储限制的时候,才会执行删除,这样即使我们频繁的覆盖,也不会引起太多的性能损耗

.

2. 删除数据

//获取MMKV的实例对象
MMKV kv = MMKV.defaultMMKV();//根据key来删除某个数据
kv.removeValueForKey("bool");
System.out.println("bool: " + kv.decodeBool("bool"));//根据多个key来删除多个数据
kv.removeValuesForKeys(new String[]{"int", "long"});
System.out.println("allKeys: " + Arrays.toString(kv.allKeys()));

.

3. 修改数据

使用同一个 key 重新添加一遍数据

.

4. 查找数据

根据 key 来查找对应的 value

//获取MMKV的实例对象
MMKV kv = MMKV.defaultMMKV();boolean hasBool = kv.containsKey("bool");

.

.

从 SharedPreferences 迁移

  • MMKV 提供了 importFromSharedPreferences() 函数,可以比较方便地迁移数据过来。

  • MMKV 还额外实现了一遍 SharedPreferencesSharedPreferences.Editor 这两个 interface,在迁移的时候只需两三行代码即可,其他 CRUD 操作代码都不用改。

//获取MMKV的实例对象
MMKV preferences = MMKV.mmkvWithID("myData");//迁移旧数据
SharedPreferences old_man = getSharedPreferences("myData", MODE_PRIVATE);
preferences.importFromSharedPreferences(old_man);
old_man.edit().clear().commit();

.

.

MMKV 高级功能介绍

.

1. 加密

MMKV 默认明文存储所有 key-value,依赖 Android 系统的沙盒机制保证文件加密。如果你担心信息泄露,你可以选择加密 MMKV

String cryptKey = "My-Encrypt-Key";
MMKV kv = MMKV.mmkvWithID("MyID", MMKV.SINGLE_PROCESS_MODE, cryptKey);

你可以更改密钥,也可以将一个加密 MMKV 改成明文,或者反过来

// 未加密的实例
MMKV kv = MMKV.mmkvWithID("MyID", MMKV.SINGLE_PROCESS_MODE, null);//从未加密变为加密
kv.reKey("Key_seq_1");//改变加密密钥
kv.reKey("Key_seq_2");//从加密变为未加密
kv.reKey(null);

.

2. 自定义根目录

MMKV 默认把文件存放在 $(FilesDir)/mmkv/ 目录。你可以在Application中自定义根目录

//文件路径
String dir = getFilesDir().getAbsolutePath() + "/mmkv_2";
//设置文件路径
String rootDir = MMKV.initialize(dir);
Log.i("MMKV", "mmkv root: " + rootDir);

甚至支持自定义某个文件的目录

String relativePath = getFilesDir().getAbsolutePath() + "/mmkv_3";
MMKV kv = MMKV.mmkvWithID("MyMMKVData", relativePath);

注意
官方推荐将 MMKV 文件存储在你 App 的私有路径内部,不要存储在 SD card。如果你一定要这样做,你应该遵循 Android 的 scoped storage 指引

.

3. 数据恢复

在 crc 校验失败,或者文件长度不对的时候,MMKV 默认会丢弃所有数据。你可以让 MMKV 恢复数据。

实现MMKVHandler接口

@Override
public MMKVRecoverStrategic onMMKVCRCCheckFail(String mmapID) {return MMKVRecoverStrategic.OnErrorRecover;
}@Override
public MMKVRecoverStrategic onMMKVFileLengthError(String mmapID) {return MMKVRecoverStrategic.OnErrorRecover;
}

注意
修复率无法保证,而且可能修复出奇怪的 key-value。

.

4. Native Buffer(本地缓冲)

产生的问题:

当从 MMKV 取一个 String 或者 byte[] 的时候,会有一次从 native 到 JVM 的内存拷贝。如果这个值立即传递到另一个 native 库(JNI),又会有一次从 JVM 到 native 的内存拷贝。当这个值比较大的时候,整个过程会非常浪费。

解决方法:

Native Buffer 就是为了解决这个问题

int sizeNeeded = kv.getValueActualSize("bytes");//创建本地缓存对象
NativeBuffer nativeBuffer = MMKV.createNativeBuffer(sizeNeeded);if (nativeBuffer != null) {int size = kv.writeValueToNativeBuffer("bytes", nativeBuffer);Log.i("MMKV", "size Needed = " + sizeNeeded + " written size = " + size);// 将nativeBuffer传递给另一个本地库// ...// 完成后销毁MMKV.destroyNativeBuffer(nativeBuffer);
}

5. 日志

MMKV 默认将日志打印到 logcat,不便于对线上问题进行定位和解决。你可以在 App 启动时接收转发 MMKV 的日志。

实现MMKVHandler接口,添加类似下面的代码:

@Override
public boolean wantLogRedirecting() {return true;
}@Override
public void mmkvLog(MMKVLogLevel level, String file, int line, String func, String message) {String log = "<" + file + ":" + line + "::" + func + "> " + message;switch (level) {case LevelDebug://Log.d("redirect logging MMKV", log);break;case LevelInfo://Log.i("redirect logging MMKV", log);break;case LevelWarning://Log.w("redirect logging MMKV", log);break;case LevelError://Log.e("redirect logging MMKV", log);break;case LevelNone://Log.e("redirect logging MMKV", log);break;}
}

.
.

参考资

  • MMKV的GitHub地址

  • MMKV For Android 使用文档

MMKV数据存储组件的使用介绍相关推荐

  1. 天气数据采集微服务的实现:数据采集组件、数据存储组件

    天气数据采集微服务的实现 天气数据采集服务包含数据采集组件.数据存储组件.其中,数据采集组件是通用的用于采集天气数据的组件,而数据存储组件是用于存储天气数据的组件. 在micro-weather-re ...

  2. 【Android数据存储】ContentProvider详细介绍(附实例源码)

    1.ContentProvider是什么? ContentProvider--内容提供者.它是一个类,这个类主要是对Android系统中进行共享的数据进行包装,并提供了一组统一的访问接口供其他程序调用 ...

  3. App Inventor 2数据存储组件之:微数据库,本地存储数据App下次启动可共享读取

    数据存储一般分为两大类:本地 和 网络,本地一般是数据文件的形式存储在手机上,本地App每次启动都可以共享读取,但是不同的手机之间不可以共享数据:如果需要多个手机之间共享获取或存储数据的话,那就需要用 ...

  4. Android数据存储SP的简单介绍

    介绍 数据保存分类(目前主流):SP.SQLite.Room 1 SP:sharedPreference首选项 很小,简单的数据可以保存在SP window 的.ini文件,android 的.xml ...

  5. iOS开发 数据存储之WCDB的介绍

    一.介绍 WCDB是一个高效.完整.易用的移动数据库框架,基于SQLCipher,支持iOS,macOS和Android 二.基本特性 易用,WCDB支持一句代码即可将数据取出并组合为object W ...

  6. android中资源文件的两种访问方式,在android开发中进行数据存储与访问的多种方式介绍...

    在android开发中进行数据存储与访问的多种方式介绍 更新时间:2013年06月07日 16:24:23   作者: 很多时候我们的软件需要对处理后的数据进行存储或再次访问,Android为数据存储 ...

  7. 结构化数据存储,如何设计才能满足需求?

    阿里妹导读:任何应用系统都离不开对数据的处理,数据也是驱动业务创新以及向智能化发展最核心的东西.数据处理的技术已经是核心竞争力.在一个完备的技术架构中,通常也会由应用系统以及数据系统构成.应用系统负责 ...

  8. 格式化zookeeper命令_zookeeper原理篇Zookeeper的数据存储与恢复原理

    前言 经过前面的一些文章的学习和了解,我们对Zookeeper有了一定的理解. 前文直达链接: zookeeper原理篇-Zookeeper选举过程分析 zookeeper原理篇-Zookeeper会 ...

  9. 深入浅出大数据存储架构,如何设计才能满足需求?

    "与数据同行"开通了微信群,现已汇聚了4000位小伙伴了,加我为微信好友(微信号:fuyipingmnb)申请入群,让我们共建一个数据社区,<与数据同行>致力于为您提供 ...

最新文章

  1. 分布式服务框架原理(一)设计和实现
  2. 按照指定字符(@split )分割字符串,并取第@index 个
  3. android studio课程管理系统,8 个最优秀的 Android Studio 插件
  4. 【Java】深入剖析Java输入输出的那些细节
  5. cocos2d-x 之 CCProgressTimer
  6. 创建多个虚拟环境 windows python Anacoda tensorflow
  7. rabbitmq消息重回队列
  8. ONNX系列四 --- 使用ONNX使TensorFlow模型可移植
  9. qint64转字符串
  10. 内蒙古自治区呼伦贝尔市谷歌高清卫星地图下载
  11. 小马哥---深度解析mtk刷机平台报错解决 4032 8038等
  12. 金盾加密视频提取,真实机器码在这里
  13. 基于数据挖掘的商业银行客户关系管理系统应用研究
  14. java WinRM 远程连接 windows10 执行脚本
  15. 桌面智能分析产品+“智同211”计划,永洪科技打造数据价值生态圈!
  16. EDI在物流中的应用
  17. Raw Socket和Socket编程
  18. 关于负数的除法和余数的结果
  19. 机器人的灵魂(1)——单片机C程序开发
  20. Android安卓-泛微OA Emobile7自动打卡

热门文章

  1. CentOS操作系统安装BT宝塔面板
  2. 通道剪枝Channel Pruning
  3. -1-6 java 异常简单介绍 java异常 异常体系 Throwable 分类 throws和throw 异常处理 自定义异常...
  4. 内网渗透攻击技术的利用
  5. 用supabase实时数据库替换mapus协作地图里的firebase
  6. 连接远程计算机提示:“这可能是由于CredSSP加密数据库修正” 问题
  7. etcher制作linux启动盘,使用Etcher来创建可启动盘的方法
  8. 微信公众号查询账户余额等
  9. gvim使用基本技巧汇总
  10. tomcat如何调优