当SQL满足不了你的需求或者SQL 已经不是必须的或者最佳的选择时,就是你考虑这类NoSQL 的时候了。

当你的内存大于你的数据时,schema也不是太确定时,mongodb在这里静静地等待My SQL转业户为了尝鲜过来看热闹的,不改变设计模式,爽在前面痛在后面;

当你唯一追求的就是速度,又对memcached的过于简单心存芥蒂,刚好内存也比数据多时,redis俏生生站在那里;

大,好大,太大了,我说的是数据,我们128GB内存双路CPU25TB存储只够一星期的时候,估计就没有选择综合症了,HBase成了唯一或者唯二选择了。
-----------------------------------------
所以呢,不严谨地讲,Redis定位在"快",HBase定位于"大",mongodb定位在"灵活"。

NoSQL的优点正好就是SQL的软肋,而其弱点正好也就是SQL的杀手锏
-----------------------------------------
最大区别在于,在一般使用情况下,mongodb可以当作简单场景下的但是性能高数倍的MySQL, Redis基本只会用来做缓存,HBase用来做离线计算

作者:Harry Zhu
链接:https://www.zhihu.com/question/30219620/answer/48322171
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

1.mongodb

基于文档存储,也有数据关联, 单条记录 的结构可以很复杂,索引也可以设置很多列;还有个二进制文件存储模块,貌似很多公司都在用这个存储图片、文档,很爽;感觉使用MongoDB解决一般的应用都没有啥问题;安全管理方面不是强项; 使用过mongodb,会觉得这个用起来很不错;

mongodb的delete会将该行的数据标示为已删除,因为mongodb在删除记录时并不是真把记录从内存或文件中remove,而是将该删除记录数据置空(写0或特殊数字加以标识)同时将该记录所在地址放到一个list列表“释放列表”中,这样做的好就是就是如果有用户要执行插入记录操作时,mongodb会首先从该“释放列表”中获取size合适的“已删除记录”地址返回,这种方法会提升性能(避免了malloc内存操作),同时mongodb也使用了bucket size数组来定义多个大小size不同的列表,用于将要删除的记录根据其size大小放到合适的“释放列表”中。
2、Hbase的delete是先新建一个tombstonemarkers,然后读的时候会和tombstonemarkers做merge,在 发生major compaction时delete的数据记录才会真真删除。

1、Mongodb bson文档型数据库,整个数据都存在磁盘中

2、Hbase是列式数据库,集群部署时每个familycolumn保存在单独的hdfs文件中。

1、Mongodb 主键是“_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样

2、hbase的主键就是row key,可以是任意字符串(最大长度是 64KB,实际应用中长度一般为 10-100bytes),在hbase内部,row key保存为字节数组。存储时,数据按照Row key的字典序(byte order)排序存储。设计key时,要充分排序存储这个特性,将经常一起读取的行存储放到一起。

1、Mongodb支持集合查找,正则查找,范围查找,支持skip和limit等等,是最像mysql的nosql数据库
2、而hbase只支持三种查找:通过单个row key访问,通过row key的range,全表扫描

1、mongodb的update是update-in-place,也就是原地更新,除非原地容纳不下更新后的数据记录。
2、而hbase的修改和添加都是同一个命令:put,如果put传入的row key已经存在就更新原记录,实际上hbase内部也不是更新,它只是将这一份数据已不同的版本保存下来而已,hbase默认的保存版本的历史数量是3。
★、mongodb和hbase都支持mapreduce,不过mongodb的mapreduce支持不够强大,如果没有使用mongodb分片,mapreduce实际上不是并行执行的

★、mongodb支持shard分片,hbase根据row key自动负载均衡,这里shard key和row key的选取尽量用非递增的字段,尽量用分布均衡的字段,因为分片都是根据范围来选择对应的存取server的,如果用递增字段很容易热点server的产生,由于是根据key的范围来自动分片的,如果key分布不均衡就会导致有些key根本就没法切分,从而产生负载不均衡。

1、mongodb的读效率比写高,
2、hbase默认适合写多读少的情况,可以通过hfile.block.cache.size配置,该配置storefile的读缓存占用Heap的大小百分比,0.2表示20%。该值直接影响数据读的性能。如果写比读少很多,开到0.4-0.5也没问题。如果读写较均衡,0.3左右。如果写比读多,果断默认0.2吧。设置这个值的时候,你同时要参考hbase.regionserver.global.memstore.upperLimit,该值是memstore占heap的最大百分比,两个参数一个影响读,一个影响写。如果两值加起来超过80-90%,会有OOM的风险,谨慎设置。

1、hbase采用的LSM思想(Log-Structured Merge-Tree),就是将对数据的更改hold在内存中,达到指定的threadhold后将该批更改merge后批量写入到磁盘,这样将单个写变成了批量写,大大提高了写入速度,不过这样的话读的时候就费劲了,需要merge disk上的数据和memory中的修改数据,这显然降低了读的性能。
2、mongodb采用的是mapfile+Journal思想,如果记录不在内存,先加载到内存,然后在内存中更改后记录日志,然后隔一段时间批量的写入data文件,这样对内存的要求较高,至少需要容纳下热点数据和索引。

1、Mongodb支持二级索引
2、而hbase本身不支持二级索引

总结Hbase 与 MongoDB相关推荐

  1. HBase和MongoDB的区别和联系

    HBase和MongoDB的区别和联系 小组轮到我做技术分享,由于最近MongoDB用的比较多,就想着和之前用到的HBase做下对比,以此加深理解,恰好网上对于HBase和MongoDB做对比的资料比 ...

  2. HBase与MongoDB的区别

    HBase与MongoDB的区别 1.HBase依赖于HDFS:MongoDB直接存储在本地磁盘中. 2.HBase按照列族将数据存储在不同的文件中:MongoDB不分列,整个文档都存储在一个(或者说 ...

  3. Cassandra HBase和MongoDb性能比较

    详见: http://blog.yemou.net/article/query/info/tytfjhfascvhzxcytp68 这是一篇基于亚马逊云平台上对三个主流的NoSQL数据库性能比较,在读 ...

  4. Hbase 与 MongoDB的区别

    1.mongodb           基于文档存储,也有数据关联, 单条记录 的结构可以很复杂,索引也可以设置很多列:还有个二进制文件存储模块,貌似很多公司都在用这个存储图片.文档,很爽:感觉使用M ...

  5. hive与hbase的以及mongodb和cassandra区别整理

    Hive Hbase 数据处理和计算问题 实时数据查询问题 不是数据库 NoSQL数据库 清洗数据 海量数据查询接口 OLAP OLTP(严格讲只是OLP,不包含T) 逻辑表,不存储实际数据 物理表 ...

  6. ES, MongoDB, HBase的区别和使用场景

    原文网址:ES, MongoDB, HBase的区别和使用场景_IT利刃出鞘的博客-CSDN博客 简介 说明 本文介绍技术选型:ES, MongoDB, HBase的区别和使用场景. 简要对比 支持情 ...

  7. 大数据时代MongoDB、ES、Redis、HBase这四种数据库你应该懂

    数据库对互联网开发的重要性就不必多说了.作为大数据和AI时代的互联网er,如果你还是只懂MySQL,那你可就火星大发了.下面给大家总结下每个互联网er都必须懂的几种数据库产品. MongoDB Mon ...

  8. mongodb cond 模糊查询_为了实现在线库的复杂查询,你还在双写吗?

    一.在线库不支持在线复杂查询 做在线业务的开发者经常会碰到这样的难题:在线数据库上面运行稍微复杂点的查询,在线业务就挂了!不管是单机数据库如MySQL.PG,还是分布式数据库,HBase.MongoD ...

  9. hbase redis mongoddb neo4j 非关系型数据库简介

    Hbase 列式存储以流的方式在列中存储所有的数据.对于任何记录,索引都可以快速地获取列上的数据:列式存储支持行检索,但这需要从每个列获取匹配的列值,并重新组成行.HBase(Hadoop Datab ...

最新文章

  1. Linux-SAMBA服务器的配置
  2. 语音识别:时间序列Damerau–Levenshtein距离
  3. 【技术教程】SequoiaDB对接Kafka
  4. 研究c语言,研究c语言计算机编程实验.docx
  5. kafka 重新分配节点_Kafka扩容节点和分区迁移
  6. java逆向框架,Android逆向之逆向框架层
  7. PHP学习之二:变量
  8. 1.React学习笔记----基础模板创建+远程仓库建立
  9. 只开窗不镀锡_开窗也有大学问,只有老司机才懂这些车窗使用技巧
  10. 数据结构编程题及解析c语言版,数据结构习题集答案(C语言版).pdf_c语言数据结构题目,c语言数据结构答案-C/C++文档类资源...
  11. 第10课:图片管理模块
  12. 词形还原(lemmatization)与词干提取(stemming)的区别
  13. 机组0:为什么补码比原码多一个-128清晰解释
  14. 51单片机——LED1357亮,2468闪
  15. 编程帮助小明计算地铁票价(C++)
  16. 动力电池罗生门:“无钴”的一张大网
  17. unity模型导入android背景透明,Unity导入模型一面有贴图另一面透明的解决方案
  18. 使用飞信api接口实现短信发送(只能发送好友)
  19. The trip on Taiwan
  20. MQTT协议(1)介绍

热门文章

  1. python常用的工具函数
  2. java getaccessflags_Java Method.getAccessFlags方法代码示例
  3. android远程控制灯光,智能灯具如何实现远程控制技术
  4. 弹性理论法研究桩基受力计算公式_收藏!桩基检测的7种方法
  5. mysql5.7多实例安装_MySQL数据库5.7多实例安装
  6. 机器视觉_Java机器学习,第2部分
  7. python一行实现循环_python开发如何将嵌套 for 循环写成单行?
  8. mysql仅php_php – MySQL仅更新表中的某些字段
  9. 孙连伟 java_java(jsp)简单实现数据库学生信息的增删改查案例
  10. 因“薪水太高”被欠薪3个月、后又遭解雇?程序员愤怒反击!