澄清大数据存储——系统集成商篇
大数据考验整合能力
大数据在带来新的商机和用户的同时,也带来了诸多挑战。
大数据存储主要考验的是技术整合能力和资源整合能力。
大数据是一项持久的工程,也是一个不断迭代的过程,不能一蹴而就。
业务集中在云计算、大数据和业务连续性方面的柏科数据总经理林柏乔给记者举了一个例子,某客户需要做大量的日志分析,每天可以产生40TB的新数据,因此每天需要增加一至两台存储。越来越多的客户需要用大数据工具去分析其业务,以投入更加精准的资源去开发更具针对性的功能和新的应用。
“美国20%的企业已经不同程度地使用大数据工具来提高投资回报率。中国的500强公司也开始积极关注并制定自己的大数据计划。不久的将来,大数据应用在中国会越来越多。”林柏乔表示。
存储架构不变不行
随着大数据时代的到来,用户对存储最迫切的需求就是更好的扩展性。存储系统的扩展一定要简便,可以通过增加模块或磁盘柜来增加容量,而且在升级过程中最好不要停机。随着数据量的持续增长和数据来源的多样化,传统的存储系统已经无法满足大数据应用的需要。存储厂商已经意识到这一点,并开始修改基于块和文件的存储系统的架构,以适应新的要求。
北京荣之联科技股份有限公司基础架构部经理李明壮认为,大数据存储应该具备出色的扩展能力、可管理性、高可用、高性能和分布式架构等五大基本特征。“为降低成本,企业必须采用一个能够长期发展的数据存储平台,不仅需要购买行业标准的服务器和存储产品,同时还要保证产品的扩展能力和性能。存储系统需要持续满足企业需求,并可通过灵活的扩展来保证数据处理对高性能的需求。”李明壮解释说,“传统的网络存储系统采用集中式的存储服务器来存放数据,存储服务器存在性能瓶颈,不能满足大数据存储的需要。而分布式存储系统采用可扩展的系统架构,能够利用多台存储服务器实现数据的负载均衡访问,提高了系统可靠性、可用性和存取效率,且易于扩展。”
“面对大数据,很多用户希望能充分利用原有的存储。因此,存储整合是一个不小的障碍。”李明壮表示,“我们要为客户考虑,如何更好地节约成本,使传统存储能够在新的大数据平台中发挥最大效用。”
华胜天成集团市场总监唐北雁认为,用户除了要面对大数据的去冗降噪技术、高效率低成本的大数据存储、大数据的融合等技术方面的挑战以外,在大数据的落地模式、实时数据分析与实时业务响应方面也面临诸多难题。
先里后外效率高
林柏乔认为,大数据存储技术会发生颠覆性的改变,如果一个厂家只关注基于控制器的存储,那么其在大数据方面很难有用武之地。无论在美国还是中国,真正使用大数据的客户没有采用传统磁盘阵列的。“一个大数据解决方案如果想吸引用户,就应该提供比Hadoop的HDFS更加高效的文件系统。”林柏乔认为,“用户需要的是一个高效的综合了计算、网络和存储的解决方案,而不是单纯的存储。”
大数据应用的前提是必须有明确的业务需求。换句话说,就是用商业思维来推动大数据,只有这样,大数据的价值才能得到充分展现。
唐北雁建议用户可从以下几方面入手开展大数据应用。
第一,做好企业非结构化数据的“数字化”,将处于半休眠和休眠状态的非结构化数据激活,进行统一管控。
第二,先做好企业内部数据的整合,将通过企业IT规划、主数据管理、业务系统和其他渠道收集来的数据进行整合和标准化,然后再利用大数据分析技术解读这些数据,为企业提供有价值的数据分析。
第三,建立合理的长期规划。当内部的数据得到充分应用以后,企业的目光就会转移到外部数据,特别是那些从移动互联网、社交商务、微博和微信中获得的数据。这些数据中也存在着大量的数据财富。
据北京荣之联科技股份有限公司产品预研部产品经理甘国华的观察,中国用户更倾向于选择开放式的存储来搭建大数据平台。开放式的存储采用分布式存储架构,数据分散在各存储节点上。“作为集成商,我们能够为用户提供分布式存储,并在此基础上提供包括检索、分析和可视化工具在内的一整套大数据解决方案。”甘国华表示。
大数据需要的是一个高效的存储平台。华为认为,构建这一平台的基础是全融合技术架构,它融合了存储、分析和归档功能,可以实现数据全生命周期的管理,提高大数据的应用效率。
产品、规化都重要
大数据既给系统集成商带来了挑战,也创造了新的商机。唐北雁表示:“大数据给我们带来的挑战主要是如何进行数据的收集和存储。在存储方面,用户应该通过云存储和分布式文件存储等技术实现对大数据基础构架的支撑,同时使用NoSQL数据库来实现数据的存储和管理。”
李明壮表示:“在大数据平台建设中,我们不单纯为用户提供产品,更要帮助用户制定一个适应大数据需求的长久的数据中心规划。这个规划涉及我们以前不熟悉的软件方面的知识,比如数据分析、数据挖掘等。对于新兴的应用领域,我们需要从零开始了解这些行业用户的需求,为其提供更好的方案。”
澄清大数据存储——系统集成商篇相关推荐
- 澄清大数据存储——厂商篇
厂商说 大数据不是一个分析工具,而是新的基础架构. 大数据的核心价值是如何把数据变成商业价值. 大数据存储,可以认为是存储厂商基于现有大数据应用的特点进行优化的解决方案. 记者不久前去香港出差,刚下飞 ...
- 云时代的大数据存储-云HBase
纵观数据库发展的几十年,从网状数据库.层次数据库到RDBMS数据库,在最近几年的NewSQL的兴起,加上开源的运动,再加上云的特性,可以说是日新月异.在20世纪80年代后,大部分的业务确定了使用RDB ...
- 大数据框架Hadoop篇之Hadoop入门
1. 写在前面 今天开始,想开启大数据框架学习的一个新系列,之前在学校的时候就会大数据相关技术很是好奇,但苦于没有实践场景,对这些东西并没有什么体会,到公司之后,我越发觉得大数据的相关知识很重要,不管 ...
- 【大数据Hadoop实战篇】
大数据Hadoop实战篇 第1章 Hadoop概述 1.1 Hadoop是什么 1.2 Hadoop发展历史(了解) 1.3 Hadoop三大发行版本(了解) 1.4 Hadoop优势(4高) 1.5 ...
- 【大数据存储技术】第8章 其他NoSQL数据库
文章目录 第8章 其他NoSQL数据库 8.1 图数据库简介 8.2 Neo4j 8.2.1 Neo4j 简介 8.2.2 Neo4j 的安装与实践 8.3 Redis和内存数据库 8.3.1 内存数 ...
- 深入浅出大数据存储架构,如何设计才能满足需求?
"与数据同行"开通了微信群,现已汇聚了4000位小伙伴了,加我为微信好友(微信号:fuyipingmnb)申请入群,让我们共建一个数据社区,<与数据同行>致力于为您提供 ...
- 熟悉大数据存储基础(实验报告)
[实验与思考] 实验目的 (1) 熟悉大数据存储基础 (2)熟悉大数据技术的基本概念 (3)熟悉开源技术及其商业支援熟悉分布式系统,了解hadoop分布式处理技术 (4)熟悉大数据的数据处理基础知识, ...
- 大数据系统的基础,大数据存储和计算技术
在存储方面,2000 年左右谷歌等提出的文件系统(GFS).以及随后的 Hadoop 的分布式文件系统 HDFS(Hadoop Distributed File System)奠定了大数据存储技术的基 ...
- 【大数据存储与处理】
目录 1.任务说明 1.1任务描述 1.2架构设计 1.3数据流动图 1.4运行环境 2.数据生成 2.1 生成数据属性说明 2.2 数据生成代码 3.数据存储 3.1数据存入Hbase 3.1.1h ...
最新文章
- python画蝴蝶_python画蝴蝶曲线图的实例
- 定义一个大整数类,并重载乘法*运算符
- nginx的脚本引擎(一)
- java生成大素数_用BigInteger实现大素数生成算法
- QT5开发及实例学习之四容器类
- Android-HandlerThread详解
- Ansys Maxwell三相变压器制作方法教程
- python 12306抢票脚本_Python 12306抢火车票脚本
- 连续时间傅立叶变换和拉普拉斯变换
- 如何使用Steam在线播放游戏
- 2020 JUSTCTF F@k3 0ff1c@l REVERSE WP
- PQ分区出错,由Ghost来补救的办法(转)
- 小水智能-智能楼宇智慧建筑3d可视化,让钢铁水泥也可以沟通交流
- Win7小工具“美女报时”,搜道版,v1.0.4.0
- 线程初步(四)--小练习
- 我跳过的坑-解决linux的输入法问题。
- Java版1-50内素数(质数)和
- 父子或兄弟div元素边距重叠
- 关于echarts中,南海诸岛不显示的问题
- Python中文转换成二进制、八进制、十六进制输出
热门文章
- 参与开源项目,结识技术大牛!CSDN “开源加速器计划”招募志愿者啦!
- 网速,果然如此!| 每日趣闻
- Keepalived中Master和Backup角色选举策略
- 再次体会wireshark的威力!
- 吴恩达Coursera机器学习 - Chapter 4 多变量线性回归
- Java并发——ReentrantLock
- 用户配置,用户组管理,用户管理
- 相同命名空间相同类名的程序集间引发的致命错误
- 函数指针---C/C++中int *f(4)和int (*f)(4)的区别
- 决策树学习算法 - ID3算法