弘易信泰，企业级SAAS数据存储技术分析

前言
“大数据” 通常指的是那些数量巨大、难于收集、处理、分析的数据集，指那些在传统基础设施中长期保存的数据，大数据存储将这些数据集持久化到计算机中。行政易作为一款SaaS软件产品，应用大数据存储技术处理海量数据。
数据存储在OBS和HDFS有什么区别
MRS集群处理的数据源来源于OBS或HDFS，HDFS是Hadoop分布式文件系统（Hadoop Distributed File System），OBS（Object Storage Service）即对象存储服务，是一个基于对象的海量存储服务，为客户提供海量、安全、高可靠、低成本的数据存储能力。MRS可以直接处理OBS中的数据，客户可以基于OBS服务 Web界面和OBS客户端对数据进行浏览、管理和使用，同时可以通过REST API接口方式单独或集成到业务程序进行管理和访问数据。
数据存储在OBS：数据存储和计算分离，集群存储成本低，存储量不受限制，并且集群可以随时删除，但计算性能取决于OBS访问性能，相对HDFS有所下降，建议在数据计算不频繁场景下使用。
数据存储在HDFS：数据存储和计算不分离，集群成本较高，计算性能高，但存储量受磁盘空间限制，删除集群前需将数据导出保存，建议在数据计算频繁场景下使用。
Hbase概述

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库，主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表，可以通过水平扩展的方式，利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。
特点：
（1）大：一个表可以有数十亿行，上百万列；
（2）无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列；
（3）面向列：面向列（族）的存储和权限控制，列（族）独立检索；？
（4）稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏；
（5）数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳；
（6）数据类型单一：Hbase中的数据都是字符串，没有类型。
局限：读写访问均是非常简单的操作。提供了get和scan两种方式，也不存在多表联合查询的问题。
逻辑视图

Mongodb
Mongodb是非关系型数据库(nosql ),属于文档型数据库。文档是mongoDB中数据的基本单元，类似关系数据库的行，多个键值对有序地放置在一起便是文档，语法有点类似javascript面向对象的查询语言，它是一个面向集合的，模式自由的文档型数据库。
存储方式：虚拟内存+持久化。
查询语句：是独特的Mongodb的查询方式。
适合场景：事件的记录，内容管理或者博客平台等等。
架构特点：可以通过副本集，以及分片来实现高可用。
数据处理：数据是存储在硬盘上的，只不过需要经常读取的数据会被加载到内存中，将数据存储在物理内存中，从而达到高速读写。
成熟度与广泛度：新兴数据库，成熟度较低，Nosql数据库中最为接近关系型数据库，比较完善的DB之一，适用人群不断在增长。
优点：
快速！在适量级的内存的Mongodb的性能是非常迅速的，它将热数据存储在物理内存中，使得热数据的读写变得十分快。高扩展性，存储的数据格式是json格式！
缺点：
不支持事务，而且开发文档不是很完全，完善。
Redis
Redis 中是把数据保存到内存中的，但是它也会定期的把数据写会到硬盘中。
Redis保存数据有两种方式
1.快照模式（Snapshot）
定时快照，即按一定时间将内存中的数据保存到磁盘上。
定量快照，即数据变化一定次数后将数据保存到磁盘上。
你也可以结合这两种方式，比如变化 1000 次，距离上次保存时间 60 秒以上才保存数据。
2.写模式（Append Only File）。这种模式下Redis会把所以修改数据的命令（如Update，Set）等保存到一个只能追加的ASAP文件中，当Redis重启时，它会把这个文件里的命令重新执行一遍。

弘易信泰，企业级SAAS数据存储技术分析相关推荐

弘易信泰，SAAS安全性策略解读
企业级SAAS产品,用户对安全性要求高,安全性是产品性能的关键评价标准,本文会从产品研发安全策略出发,解读其实现过程,如下控制部署环境选择部署在专业的.大规模的云环境,有效的提升行政易用户数据的安 ...
弘易信泰，企业级SAAS数据采集技术分析
前言北京弘易信泰科技有限公司自主研发的SaaS软件-行政易,是一款应用大数据.云计算和人工智能技术打造的企业级SAAS数据分析软件,可实现对互联网数据的采集.存储.计算分析以及可视化,帮助政企用户提 ...
北京弘易信泰网络数据抓取技术实践分享
弘易信泰,作为大数据产品厂商,长期关注业界数据抓取技术的变化,当前,互联网数据以前所未有的态势迅猛增长,对于信息化技术而言,海量数据的抓取技术尤为重要,在数据迅速发展的大背景下,中国政府与企业类型的信 ...
面向智能电网的电力大数据存储与分析应用
面向智能电网的电力大数据存储与分析应用崔立真1, 史玉良1, 刘磊1, 赵卓峰2, 毕艳冰3 1. 山东大学计算机科学与技术学院,山东济南 250101 2. 北方工业大学云计算研究中心,北京 1 ...
【大数据存储技术】第8章其他NoSQL数据库
文章目录第8章其他NoSQL数据库 8.1 图数据库简介 8.2 Neo4j 8.2.1 Neo4j 简介 8.2.2 Neo4j 的安装与实践 8.3 Redis和内存数据库 8.3.1 内存数 ...
三种最典型的大数据存储技术路线
三种最典型的大数据存储技术路线近期由中关村大数据产业联盟举办的"大数据100分"线上研讨会中,南大通用的CTO.资深业界专家武新博士同众多网友分享了底层数据处理技术的发展趋势和正 ...
利用数据存储技术实现数据安全合理备份
企业目前的日常工作越来越依靠信息系统的支撑.各类系统中保存着企业大量的业务数据,这些数据成为企业经营决策的客观依据,是企业成长发展的宝贵资源raid数据恢复.一旦数据在传输.存储.交换等过程中丢失,便 ...
数据存储技术-专题介绍
链接:数据存储技术 - 知乎介绍从传统磁盘阵列到分布式存储系统的方方面面https://www.zhihu.com/column/c_210330608 感谢分享,仅供参考.
给我一个西门子plc采集大数据存储与分析方案
对于西门子PLC采集大数据存储与分析方案,下面是一个建议: 数据采集: 在PLC中设置数据采集程序,以记录关键数据并定期发送到数据存储仓库. 数据存储: 使用大数据存储技术,例如 Hadoop.Spa ...

弘易信泰，企业级SAAS数据存储技术分析

弘易信泰，企业级SAAS数据存储技术分析相关推荐

最新文章

热门文章