json最大长度限制_MongoDB参数限制和阀值
今天搜索spark mongo的资料,意外发现了MongoDB的一些知识,这些都是之前没有接触过的,所以专门记录下。
一、BSON文档
1、BSON文档尺寸:一个document文档最大尺寸为16M;大于16M的文档需要存储在GridFS中。
2、文档内嵌深度:BSON文档的结构(tree)深度最大为100。
二、Namespaces
1、collection命名空间:.,最大长度为120字节。这也限定了database和collection的名字不能太长。
2、命名空间的个数:对于MMAPV1引擎,个数最大为大约为24000个,每个collection以及index都是一个namespace;对于wiredTiger引擎则没有这个限制。
3、namespace文件的大小:对于MMAPV1引擎而言,默认大小为16M,可以通过在配置文件中修改。wiredTiger不受此限制。
三、indexes
1、index key:每条索引的key不得超过1024个字节,如果index key的长度超过此值,将会导致write操作失败。
2、每个collection中索引的个数不得超过64个。
3、索引名称:我们可以为index设定名称,最终全名为..$,最长不得超过128个字节。默认情况下为filed名称与index类型的组合,我们可以在创建索引时显式的指定index名字,参见createIndex()方法。
4、组合索引最多能包含31个field。
四、Data
1、Capped Collection:如果你在创建“Capped”类型的collection时指定了文档的最大个数,那么此个数不能超过2的32次方,如果没有指定最大个数,则没有限制。
2、Database Size:MMAPV1引擎而言,每个database不得持有超过16000个数据文件,即单个database的总数据量最大为32TB,可以通过设置“smallFiles”来限定到8TB。
3、Data Size:对于MMAVPV1引擎而言,单个mongod不能管理超过最大虚拟内存地址空间的数据集,比如linux(64位)下每个mongod实例最多可以维护64T数据。wiredTiger引擎没有此限制。
4、每个Database中collection个数:对于MMAPV1引擎而然,每个database所能持有的collections个数取决于namespace文件大小(用来保存namespace)以及每个collection中indexes的个数,最终总尺寸不超过namespace文件的大小(16M)。wiredTiger引擎不受到此限制。
五、Replica Sets
1、每个replica set中最多支持50个members。
2、replica set中最多可以有7个voting members。(投票者)
3、如果没有显式的指定oplog的尺寸,其最大不会超过50G。
六、Sharded Clusters
1、group聚合函数,在sharding模式下不可用。请使用mapreduce或者aggregate方法。
2、Coverd Queries:即查询条件中的Fields必须是index的一部分,且返回结果只包含index中的fields;对于sharding集群,如果query中不包含shard key,索引则无法进行覆盖。虽然_id不是“shard key”,但是如果查询条件中只包含_id,且返回的结果中也只需要_id字段值,则可以使用覆盖查询,不过这个查询似乎并没有什么意义(除非是检测此_id的document是否存在)。
3、对于已经存有数据的collections开启sharding(原来非sharding),则其最大数据不得超过256G。当collection被sharding之后,那么它可以存储任意多的数据。
4、对于sharded collection,update、remove对单条数据操作(操作选项为multi:false或者justOne),必须指定shard key或者_id字段;否则将会抛出error。
5、唯一索引:shards之间不支持唯一索引,除非这个“shard key”是唯一索引的最左前缀。比如collection的shard key为{"zipcode":1,"name": 1},如果你想对collection创建唯一索引,那么唯一索引必须将zipcode和name作为索引的最左前缀,比如:collection.createIndex({"zipcode":1,"name":1,"company":1},{unique:true})。
6、在chunk迁移时允许的最大文档个数:如果一个chunk中documents的个数超过250000(默认chunk大小为64M)时,或者document个数大于 1.3 *(chunk最大尺寸(有配置参数决定)/ document平均尺寸),此chunk将无法被“move”(无论是balancer还是人工干预),必须等待split之后才能被move。
七、shard key
shard key的长度不得超过512个字节。
“shard key索引”可以为基于shard key的正序索引,或者以shard key开头的组合索引。shard key索引不能是multikey索引(基于数组的索引)、text索引或者geo索引。
Shard key是不可变的,无论何时都不能修改document中的shard key值。如果需要变更shard key,则需要手动清洗数据,即全量dump原始数据,然后修改并保存在新的collection中。
单调递增(递减)的shard key会限制insert的吞吐量;如果_id是shard key,需要知道_id是ObjectId()生成,它也是自增值。对于单调递增的shard key,collection上的所有insert操作都会在一个shard节点上进行,那么此shard将会承载cluster的全部insert操作,因为单个shard节点的资源有限,因此整个cluster的insert量会因此受限。如果cluster主要是read、update操作,将不会有这方面的限制。为了避免这个问题,可以考虑使用“hashed shard key”或者选择一个非单调递增key作为shard key。(rang shard key 和hashed shard key各有优缺点,需要根据query的情况而定)。
八、Operations
如果mongodb不能使用索引排序来获取documents,那么参与排序的documents尺寸需要小于32M。
Aggregation Pileline操作。Pipeline stages限制在100M内存,如果stage超过此限制将会发生错误,为了能处理较大的数据集,请开启“allowDiskUse”选项,即允许pipeline stages将额外的数据写入临时文件。
九、命名规则
database的命名区分大小写。
database名称中不要包含:/ \.''$*<>:|?
database名称长度不能超过64个字符。
collection名称可以以“_”或者字母字符开头,但是不能包含"$"符号,不能为空字符或者null,不能以“system.”开头,因为这是系统保留字。
document字段名不能包含“.”或者null,且不能以“$”开头,因为$是一个“引用符号”。
最后记录下json嵌套中含有列表的查询方法,样例数据:
{ "_id" : ObjectId("5c6cc376a589c200018f7312"), "id" : "9472", "data" : { "name" : "测试", "publish_date" : "2009-05-15", "authors" : [ { "author_id" : 3053, "author_name" : "测试数据" } ], }}
我要查询authors中的author_id,query可以这样写:
db.getCollection().find({'data.authors.0.author_id': 3053})
用0来代表第一个索引,点代表嵌套结构。但是spark mongo中是不能这样导入的,需要使用别的方法。
json最大长度限制_MongoDB参数限制和阀值相关推荐
- JS中数组(Array)、Json对象长度(length)获取方法
JS中数组(Array).Json对象长度(length)获取方法 1.数组 var array = []; var length = array.length; 2.JSON对象 1)方法1: va ...
- 解决JSON字符长度超出限制
环境asp.net 4.0 ,AJAX 一般处理程序 碰到JSON字符长度超出限制,抛出异常,参考了网上资料和网友博客 web.config添加以下内容 <system.web.extens ...
- html遍历json数组,JS遍历JSON数组及获取JSON数组长度操作示例【测试可用】
本文实例讲述了JS遍历JSON数组及获取JSON数组长度操作.分享给大家供大家参考,具体如下: 遍历 JSON 数组: var questions = data.data.questionnaire. ...
- MVC中JSON字符长度超出限制的异常处理
异常信息如下: 使用 JSON JavaScriptSerializer 进行序列化或反序列化时出错.字符串的长度超过了为 maxJsonLength 属性设置的值. 这个异常是在执行MVC中的Jso ...
- python json.dumps()函数输出json格式,使用ensure_ascii参数对中文输入的支持
在python使用过程中,输入中文,不能正常的输出,可以使用ensure_ascii参数来解决不能输入中文的问题 代码块: import json friends={"name": ...
- JSON.stringify的三个参数(转载)
前段时间勾股有提到stringify是支持三个参数,刷新的了我的认知,后来查到文档才发现还真的是支持三个参数的. 参考资料: stringify stringify方法顾名思义,就是把JSON序列换, ...
- asp ajax返回json数据类型,asp怎么返回json asp返回json是否通信成功等参数
相信大家对于asp和json都不陌生,当下json应用的非常广泛,但asp语言中并没有可以直接生成json对象的方法,这个就比较麻烦了.还好现在有了JSON.asp和json.js 了 下面介绍 as ...
- python的JSON用法——dumps的各种参数用法(详细)
目录 一.JSON是什么 1.json的数据类型和python数据类型的区别 2.json库的一些方法 二.json.dump()和json.dumps()的区别 1.json.dumps() 2.j ...
- c语言 json数组长度,js 获取json数组里面数组的长度
作为一个前端页面开发者第一次处理json数据,遇到了'js 获取json数组里面数组的长度'?竟然不知道 json没有.length属性(真是要嘲讽下自己),少壮不努力老大徒伤悲啊!以前都是去寻求男朋 ...
最新文章
- 赠票 | 深度强化学习的理论、算法与应用专题探索班
- capitalism 2 3892303_2021年2月5日财神方位查询,今天哪个方位财运好
- [uva]AncientMessages象形文字识别 (dfs求连通块)
- 矩阵低秩张量分解_TKDE 2020 | CTRR:组稀疏约束的紧凑张量环回归
- SNAT,是源地址转换,其作用是将ip数据包的源地址转换成另外一个地址
- git 远程仓库管理 分支创建、管理、查看、切换
- Java堆溢出,虚拟机栈和本地方法栈溢出
- OKExChain生态项目KSwap完成50万美元种子轮融资
- java对象json序列化时忽略值为null的属性
- [鸟哥linux视频教程整理]03_03_bash特性详解续
- Confluence 6 为站点启用匿名用户访问
- 一键环境安装包无法修改网站目录提示.user.ini权限问题解决方法
- linux系统下面所有命令都失效了,显示bash: xxxxx: command not found...
- 文件上传的测试点整理
- Vue 使用echarts 地图自定义图标和修改图标样式,点击切换图标
- Hadoop之金庸江湖人物关系网分析
- 人生效率手册:如何卓有成效地过好每一天--By张萌姐姐--读书笔记
- 诺贝尔奖距离中国内地多远(ZT)
- 小区隔音墙生产厂家@初心不改,慢煮岁月
- 计算机一级b选择题相关知识点,一级B辅导资料(选择题知识点)