图分析在大数据时代的应用

在数据规模越来越大、数据结构越来越复杂的大数据时代，传统的关系型数据暴露出了建模缺陷、水平伸缩等问题，于是具有更强大表达能力的图数据受到业界极大的重视。如果把关系数据模型比做火车的话，那么现在的图数据建模可比做高铁。

什么是图呢？

图（Graph），将信息中的实体，以及实体之间的关系，分别抽象表达成为顶点以及顶点间的边这样的结构数据。

像Facebook和Twitter这样的社交网络，其数据天生就适合于图表示法。诸多典型的大数据应用易于通过图来进行建模，如交通网络、CDR通话图、用户与产品之间的二分图、论文中作者之间的合作关系网、文章之间的索引关系、金融交易网络等等。于是，基于图数据的分析技术—关系分析（图计算）应运而生。图计算系统就是针对图结构数据处理的系统，并在这样的数据上进行针对性优化的高效计算。我们可以用图这个通用的、富有表现力的结构来建模各种场景，从宇宙火箭的建造到道路系统，从食物的供应链及原产地追踪到人们的病历。

在许多实际场合中我们都能找到图分析的应用。例如：在金融风控中，将多种变量（如账号、交易、资金）之间的关系通过图联系在一起，共同分析其对金融安全的影响，典型的金融异构系统，如洗钱、庞氏骗局等都能反映出特定的图结构。
比如在大图上做环路检测可以有效识别循环转账，帮助预防信用卡诈骗；
分析可疑人物的近邻好友和基于属性图的社团发现可以进一步挖掘出骗子团伙或者僵尸账号。

`知识图谱通过图来建立知识概念之间的联系，并在此基础上设计推理算法。` 知识图谱常用来进行知识推理，从语义层面理解用户意图，改进搜索质量。LinkedIn的知识图谱对会员显式输入的技能，比如“分布式系统”、“Hadoop”等，自动推理出其他技能，比如“产品管理”、“NoSQL”等。特别是AI和机器学习中需要处理很多由实体和关系构成的信息。例如，在推荐系统中，用户和电影就是实体，他们之间的喜好构成了实体间的关系；搜索查询和商品也是实体，他们之间的点击率构成了实体间的关系。

业界洞察

整个图计算领域可进一步细分为查询分析、计算引擎、存储管理、可视化等子方向。

目前并没有一种涵盖所有子方向的图引擎。例如图数据库Neo4j、Titan等擅长于图数据的实时查询，但并不能高效地对图数据进行离线分析；分析引擎Turi、GraphX侧重图数据的离线分析和挖掘，却不能对属性图进行管理，且不支持实时查询。同时，图计算领域也面临大数据环境下带来的巨大挑战。就当前的社交网络而言，对全网做查询分析就意味着对数十亿节点（人物）数百亿边（关系）的大图进行操作。而规模更大的互联网、物联网可达到百亿节点千亿边甚至以上。在如此巨大数据量的情况下，实现高效高并发的查询是当前一大难点。一方面，鉴于图数据结构的稀疏性，并不能通过GPU等硬件手段上取得很好的加速。另一方面，图的局部性也有别于传统机器学习系统的数据组织形式。此外，随着数据复杂性的增加，节点和边往往带有属性信息。这些信息既可以是固有属性（如年龄、性别等），也可以是计算得到的结果（如介数中心度、pagerank值等），这些计算结果往往又是下一次查询的输入。属性管理与交互式计算查询，是图领域的另一大挑战。

提示：转载时请注明文章链接，谢谢合作！

图分析在大数据时代的应用相关推荐

大数据学情分析_大数据时代如何轻松做好学情分析
学情分析是运用现代教学设计理论产生的,是教学设计系统中影响学习系统最终设计的重要因素之一.学情分析通常被称为"教学目标分析"或"学生分析".研究学生的实际需要. ...
大数据时代的新型数据库 — 图数据库 Neo4j 的应用
概览微云数聚(北京)科技有限公司是一家实力雄厚的大数据技术公司,由移动互联网技术专家团队.大数据专业团队和建模博士团队组成.微云数聚专注于研究图数据库技术及其应用,是世界领先的图数据库Neo4j在中 ...
有python专业的世界大学_大数据时代专业怎么选？2018年QS世界大学商业分析硕士专业排名...
导读:最新2018年QS世界大学商业分析硕士专业排名对全球各所大学商业分析专业做出综合评价,最终45所大学上榜. 商业分析专业Business Analysis到底学哪些科目?就业方向如何?作为商科专 ...
《大数据时代》读书报告
未来已来 --<大数据时代>读书报告课程:商务数据分析学号: 姓名: 引言维克托·迈尔·舍恩伯格在其<大数据时代>中的前言开宗明义:一场生活.工作与思维的大变革,大数据开 ...
《大数据时代》（维克托·迈尔·舍恩伯格）读书笔记
观点摘录序言引言推荐序一推荐序二译者序引言第一部分大数据时代的思维变革 01 不是随机样本,而是全体数据 02 不是准确性,而是混杂性 03 不是因果关系,而是相关关系第二部分大数据 ...
《大数据时代》读书笔记——知道“是什么”就够了，没必要知道“为什么”。我们不必非得知道现象背后的原因，而是要让数据自己“发声”
引言--一场生活.工作与思维的大变革今天,一种可能的方式,亦是本书采取的方式,认为大数据是人们在大规模数据的基础上可以做到的事情,而这些事情在小规模数据的基础上是无法完成的.大数据是人们获得新的认知 ...
弄潮儿数据_4G+3D是大数据时代的弄潮儿
4G+3D 是大数据时代的弄潮儿李进良 [摘要] [摘要] 从信息获取.存储和传输等环节的变迁入手,分析了大数据时代 3D 立体成像发展的必要性和普及条件,提出 4G+3D 的技术路线,即以 ...
大数据时代第一部分思维导图_大数据时代总结思维导图模板分享
现在的社会是一个高速发展的社会,科技发达,信息流通,人们之间的交流越来越密切,生活也越来越方便,大数据就是这个高科技时代的产物.数据涉及了方方面面,那主要介绍哪些呢?下面是分享的大数据时代思维导图模板 ...
《大数据》2015年第3期“网络大数据专题”——大数据时代的互联网分析引擎...
大数据时代的互联网分析引擎窦志成,文继荣 (中国人民大学信息学院大数据管理与分析方法研究北京市重点实验室北京 100872) 摘要:随着互联网尤其是移动互联网的高速发展,互联网文档的数量.内容的丰 ...

图分析在大数据时代的应用

图分析在大数据时代的应用相关推荐

最新文章

热门文章