大数据技术应用需注意哪些问题

　　现在很多数据科学家都是在研究大数据的技术，很多人只是听过大数据这个词，但是对大数据还是不太了解的，对于大数据现在需要解决的关键问题不是很明朗。而今天我们就一起来了解一下，大数据技术应用过程中都出现了哪些问题需要解决。

　　大数据技术应用常见的八个问题分析

　　1、容量问题

　　这里所说的“大容量”通常可达到PB级的数据规模，因此，海量数据存储系统也一定要有相应等级的扩展能力。与此同时，存储系统的扩展一定要简便，可以通过增加模块或磁盘柜来增加容量，甚至不需要停机。在解决容量问题上，不得不提LSI公司的全新Nytro™智能化闪存解决方案，采用Nytro产品，客户可以将数据库事务处理性能提高30倍，并且超过每秒4.0GB的持续吞吐能力，非常适用于大数据分析。

　　2、延迟问题

　　“大数据”应用还存在实时性的问题。特别是涉及到与网上交易或者金融类相关的应用。有很多“大数据”应用环境需要较高的IOPS性能，比如HPC高性能计算。此外，服务器虚拟化的普及也导致了对高IOPS的需求，正如它改变了传统IT环境一样。为了迎接这些挑战，各种模式的固态存储设备应运而生，小到简单的在服务器内部做高速缓存，大到全固态介质可扩展存储系统通过高性能闪存存储，自动、智能地对热点数据进行读/写高速缓存的LSINytro系列产品等等都在蓬勃发展。

　　3、安全问题

　　某些特殊行业的应用，比如金融数据、医疗信息以及政府情报等都有自己的安全标准和保密性需求。虽然对于IT管理者来说这些并没有什么不同，而且都是必须遵从的，但是，大数据分析往往需要多类数据相互参考，而在过去并不会有这种数据混合访问的情况，大数据应用催生出一些新的、需要考虑的安全性问题，这就充分体现出利用基于DuraClass™技术的LSISandForce®闪存处理器的优势了，实现了企业级闪存性能和可靠性，实现简单、透明的应用加速，既安全又方便。

　　4、成本问题

　　对于那些正在使用大数据环境的企业来说，成本控制是关键的问题。想控制成本，就意味着我们要让每一台设备都实现更高的“效率”，同时还要减少那些昂贵的部件。重复数据删除等技术已经进入到主存储市场，而且还可以处理更多的数据类型，这都可以为大数据存储应用带来更多的价值，提升存储效率。在数据量不断增长的环境中，通过减少后端存储的消耗，哪怕只是降低几个百分点，这种锱铢必较的服务器也只有LSI推出的Syncro™MX-B机架服务器启动盘设备都能够获得明显的投资回报，当今，数据中心使用的传统引导驱动器不仅故障率高，而且具有较高的维修和更换成本。如果用它替换数据中心的独立服务器引导驱动器，则能将可靠性提升多达100倍。并且对主机系统是透明的，能为每一个附加服务器提供的引导镜像，可简化系统管理，提升可靠性，并且节电率高达60%，真正做到了节省成本的问题。

　　5、数据的积累

　　许多大数据应用都会涉及到法规遵从问题，这些法规通常要求数据要保存几年或者几十年。比如医疗信息通常是为了保证患者的生命安全，而财务信息通常要保存7年。而有些使用大数据存储的用户却希望数据能够保存更长的时间，因为任何数据都是历史记录的一部分，而且数据的分析大都是基于时间段进行的。要实现长期的数据保存，就要求存储厂商开发出能够持续进行数据一致性检测的功能以及其他保证长期高可用的特性。同时还要实现数据直接在原位更新的功能需求。

　　6、灵活性

　　大数据存储系统的基础设施规模通常都很大，因此必须经过仔细设计，才能保证存储系统的灵活性，使其能够随着应用分析软件一起扩容及扩展。在大数据存储环境中，已经没有必要再做数据迁移了，因为数据会同时保存在多个部署站点。一个大型的数据存储基础设施一旦开始投入使用，就很难再调整了，因此它必须能够适应各种不同的应用类型和数据场景。

　　7、应用感知

　　早一批使用大数据的用户已经开发出了一些针对应用的定制的基础设施，比如针对政府项目开发的系统，还有大型互联网服务商创造的专用服务器等。在主流存储系统领域，应用感知技术的使用越来越普遍，它也是改善系统效率和性能的重要手段，所以，应用感知技术也应该用在大数据存储环境里。

　　8、针对小用户

　　依赖大数据的不仅仅是那些特殊的大型用户群体，作为一种商业需求，小型企业未来也一定会应用到大数据。我们看到，有些存储厂商已经在开发一些小型的“大数据”存储系统，主要吸引那些对成本比较敏感的用户。

　　大数据依然在发展中，相信在实践的过程中，我们还会遇到很多新的问题，同时也会伴随更多的业务创新和转型，让企业真实地回到建立的原点，为客户满足他们真正的需要。

大数据技术应用需注意哪些问题相关推荐

大数据技术发展需注意那些问题
现在很多数据科学家都是在研究大数据的技术,很多人只是听过大数据这个词,但是对大数据还是不太了解的,对于大数据现在需要解决的关键问题不是很明朗.而今天就和中琛魔方一起来了解一下,大数据技术发展需要注意哪 ...
倒计时1天 | 2019 中国大数据技术大会（BDTC）报名通道即将关闭（附参会提醒）...
2019年12月5-7日,由中国计算机学会主办,CCF 大数据专家委员会承办,CSDN.中科天玑数据科技股份有限公司协办的中国大数据技术大会(BDTC 2019)将于北京长城饭店隆重举行.届时,超过百 ...
倒计时1天，2018中国大数据技术大会报名通道即将关闭（附参会提醒）
2018 年12 月 6-8 日,由中国计算机学会主办,CCF大数据专家委员会承办,CSDN.中科天玑数据科技股份有限公司协办的 2018 中国大数据技术大会(BDTC),携主题"大数据新应 ...
冷热分离和直接使用大数据库_中台有“数”：大数据技术为苏宁818保驾护航
今年818正值苏宁成立30周年之际,苏宁易购提出了"专注好服务"的全新品牌主张,在带来巨大流量的同时,也给苏宁中台系统的保障工作带来了更大的挑战.如何在818大促中,快速.高效.智 ...
大数据技术下面向企业需求的高校应用型人才培养课程体系设计
引言当前高校人才培养存在教学内容与社会需求脱节.学生知识链碎片化.学生知识内化低效化等问题.传统的专业知识学习领域确定,更多依靠学科带头人个人或专业建设团队主观的经验与感受,即停留在采用" ...
《Spark大数据分析：核心概念、技术及实践》大数据技术一览
本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问云栖社区"华章 ...
从大数据技术参考模型角度梳理大数据标准
大数据标准化背景面对目前数量.速度和多样性日益增长的信息资产,大数据技术通过各种解决方案.体系.结构.工具和平台集合,能有效应对大数据场景. 因为数据是大数据的基础,对于大数据标准化,除了继承数据标 ...
盘点最受欢迎的十个开源大数据技术
http://my.csdn.net/my/mycsdn 大数据已然成为当今最热门的技术之一,正呈爆炸式增长.每天来自全球的新项目如雨后春笋般涌现.幸运地是,开源让越来越多的项目可以直接采用大数据技术 ...
大数据技术下分布式数据库何去何从？
转自:安华信达的文章链接地址:http://www.sohu.com/a/133784835_481676 一.大数据技术的发展大数据技术从诞生到现在,已历经了十几个年头,市场上也早已有公司或机构 ...

大数据技术应用需注意哪些问题

大数据技术应用需注意哪些问题相关推荐

最新文章

热门文章