文章目录

1.1.1 批量数据的特征与典型应用
1.2 流式数据处理系统
1.3 交互式数据处理
1.4 图数据处理系统
2大数据分析

一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分,
人们将大数据的特征总结为 5 个 V,即体量大(volume)、速度快(velocity)、模态多(variety)、难辨识(veracity)和价值大密度低(value)
但大数据的主要难点并不在于数据量大,因为通过对计算机系统的扩展可以在一定程度上缓解数据量大带来的挑战.其实,大数据真正难以对付的挑战来自于
1.数据类型多样(variety)、
2.要求及时响应(velocity)
3.数据的不确定性(veracity).:数据真伪难辨是大数据应用的最大挑战.追求高数据质量是对大数据的一项重要要求(利用数据清洗可以消除某些数据固有的不可预测性.)

1.1.1 批量数据的特征与典型应用

hadoop

在安全领域中,批量数据主要用于欺诈检测和 IT 安全.
在公共服务领域,批量数据处理的典型应用场景主要包括:(a) 能源(b) 医疗保健:

1.2 流式数据处理系统

流式数据处理源于服务器日志的实时采集,交互式数据处理的目标是将 PB 级数据的处理时间缩短到秒级.
流式数据是一个无穷的数据序列,流式数据的特点是,数据连续不断、来源众多、格式复杂、物理顺序不一、数据的价值密度低.而对应的处理工具则需具备高性能、实时、可扩展等特性.

1.3 交互式数据处理

Spark 系统
系统与操作人员以人机对话的方式一问一答——操作人员提出请求,数据以对话的方式输入,系统便提供相应的数据或提示信息,引导操作人员逐步完成所需的操作,直至获得最后处理结果
采用这种方式,
1.存储在系统中的数据文件能够被及时处理修改
2.处理结果可以立刻被使用.
3.交互式数据处理具备的这些特征能够保证输入的信息得到及时处理,使交互方式继续进行下去.

应用:"如搜索引擎、电子邮件、即时通讯工具、社交网络、微博、博客以及电子商务等,用户可以在这些平台上获取或分享各种信息.此外,各种交互式问答平台,如百度的知道、新浪的爱问以及 Yahoo!的知识堂等.

使得传统的关系数据库(DBMS)不能满足交互式数据处理的实时性需求.目前,各大平台主要使用 NoSQL 类型的数据库系统来处理交互式的数据,
如 HBase采用多维有续表的列式存储方式
MongoDB采用 JSON 格式的数据嵌套存储方式.
大多 NoSQL 数据库不提供 Join 等关系数据库的操作模式,以增加数据操作的实时性.

1.4 图数据处理系统

1.没有一个通用的图数据处理系统满足所有领域的需求
2.图数据计算的强耦合性
大图数据是无法使用单台机器进行处理的,但如果对大图数据进行并行处理,对于每一个顶点之间都是连通的图来讲,难以分割成若干完全独立的子图进行独立的并行处理;即使可以分割,也会面临并行机器的协同处理,以及将最后的处理结果进行合并等一系列问题.这需要图数据处理系统选取合适的图分割以及图计算模型来迎接挑战并解决问题.
如 E-mail 中的人与人之间的通信关系
交通领域的应用.图可用来在动态网络交通中查找最短路径

2大数据分析

要挖掘大数据的大价值必然要对大数据进行内容上的分析与计算.深度学习和知识计算是大数据分析的
基础,而可视化既是数据分析的关键技术也是数据分析结果呈现的关键技术

小结:
大数据处理和分析的终极目标是借助对数据的理解辅助人们在各类应用中作出合理的决策.在此过程中,深度学习、知识计算、社会计算和可视化起到了相辅相成的作用.

**(1) 深度学习提高精度:**如前所述,要挖掘大数据的大价值必然要对大数据进行内容上的分析与计算,而传统的数据表达模型和方法通常是简单的浅层模型学习,效果不尽人意.深度学习可以对人类难以理解的底层数据特征进行层层抽象,凝练具有物理意义的特征,从而提高数据学习的精度.因此,深度学习是大数据分析的核心技术;
(2) 知识计算挖掘深度:每一种数据来源都有一定的局限性和片面性,只有对各种来源的原始数据进行融合才能反映事物的全貌,事物的本质和规律往往隐藏在各种原始数据的相互关联之中.而借助知识计算可以将碎片化的多源数据整合成反映事物全貌的完整数据,从而增加数据挖掘的深度.因此,基于大数据的知识计算是大数据分析的基础.如何基于大数据实现新知识的感知,知识的增量式演化和自适应学习是其中的重大挑战;
(3) 社会计算促进认知:IT 技术的发展使得社会媒体成了一类重要的信息载体,承载着对事物的客观或主观描述信息.因此,通过基于社会媒体数据的社会计算可以促进人们对事物的认知.但是,社会媒体大数据往往蕴含着一个体量庞大、关系异质、结构多尺度和动态演化的网络,对它的分析既要有效地计算方法,更需要支持大规模网络结构的图数据存储和管理结构,以及高性能的图计算系统结构和算法;
(4) 强可视化辅助决策:对大数据查询和分析的实用性和实效性对于人们能否及时获得决策信息非常重要.而强大的可视化技术,不仅可以对数据分析结果进行更有效的展示,而且可以在大数据分析过程中发挥重要作用.

大数据系统和分析技术综述(引用最多)相关推荐

大数据系统及分析技术
大数据 IDC将大数据技术定义为:"为更经济地从高频率的.大容量的.不同结构和类型的数据中获取价值而设计的新一代架构和技术." 大数据的关键在于种类繁多.数量庞大.使用传统的数据分 ...
《大数据》编辑推荐 | 基于遥感大数据的信息提取技术综述
主题词遥感大数据:目标识别:地物分割:变化检测遥感大数据虽然能够多粒度.多时相.多方位和多层次地反映地物信息,但其数据量与日俱增.种类日益增多,且存在大量的冗余信息,使得从遥感数据中提取有效信息具 ...
大数据系统发展的技术路线
自从大数据出来后,数据管理界发生了巨大的变化,技术驱动成为大数据管理系统的一个主要变革力量. 传统的数据库管理系统以结构化数据为主,因此关系数据库系统(RDBMS)可以一统天下满足各类应用需求.然而, ...
《大数据》专题征文：大数据可视分析技术与应用
点击上方蓝字关注我们 <大数据>专题征文:大数据可视分析技术与应用 (截稿时间:2020年12月31日) 随着信息技术的飞速发展,特别是网络的普及,人类产生的数据量呈现爆炸式增长.而可视化 ...
使用pig对钓鱼网站链接url做词频统计【大数据处理与分析技术】
使用pig对钓鱼网站链接url做词频统计(大数据处理与分析技术) 数据展示:(verified_online.csv) grunt> A = load 'verified_online.csv' ...
Gartner：2019年十大数据与分析技术趋势
来源:网络大数据近日,全球领先的信息技术研究和顾问公司Gartner指出,增强型分析(augmented analytics).持续型智能(continuous intelligence)与可解释型 ...
大数据的分析技术，主要有哪些？
要想从急剧增长的数据资源中挖掘分析出有价值的信息,需要先进的分析技术作支撑.从宏观上看,大数据分析技术发展所面临的问题均包含三个主要特征: (1)数据量庞大并以惊人的速度增长; (2)数据种类与结构多 ...
智能家居设备安全分析技术综述
摘要随着智能家居技术的广泛应用,智能家居作为物联网技术在家居领域的典型应用得到了迅速的发展.然而,智能家居设备中存在的安全缺陷将直接威胁用户的隐私安全甚至是生命财产安全,因此,针对智能家居的安全分 ...
2019年十大数据与分析技术趋势
来自:GartnerInc 全球领先的信息技术研究和顾问公司Gartner指出,增强型分析(augmented analytics).持续型智能(continuous intelligence)与可解 ...

大数据系统和分析技术综述(引用最多)