《大数据分析原理与实践》——第2章大数据分析模型

第2章

大数据分析模型

大数据分析模型讨论的问题是从大数据中发现什么。尽管对大数据的分析方法林林总总，但面对一项具体应用，大数据分析非常依赖想象力。例如，对患者进行智能导诊，为患者选择合适的医院、合适的科室和合适的医生。可以通过患者对病症的描述建立模型而选择合适的科室；可以基于对患者位置、医院擅长病症的信息以及患者病症的紧急程度建立模型而确定位置合适的医院；还可以根据医院当前的队列信息建立模型进行推荐，如果队列较长则显示已挂号人数较少、等待时间较短的医生资料，如果队列较短则显示那些挂号费和治疗费较高但医术相对高明、经验相对丰富的医生资料。

这些分析离不开一系列基本的模型与方法。大数据分析模型用于描述数据之间的关系，我们经常听说的贝叶斯分类器、聚类、决策树都是大数据分析模型。

面向具体应用的大数据分析模型往往是这些分析方法的扩展或者叠加，例如我们可以结合支持向量机（SVM）和随机森林一起对心脏病病人的重新入院率做一个预测，对那些重新入院概率高的病人提供更加周到的住院期间的护理和出院后的跟踪护理。

大数据的分析模型有多种不同分类方法。例如，依据分析的数据类型，可以分类成面向结构化多维数据的多元分析、面向半结构化图数据的图分析以及面向非结构化文本数据的文本分析。根据分析过程中输出和输入的关系，又可以分类成回归分析、聚类分析、分类和关联规则分析等。根据输入的特征，可以分为监督学习、无监督学习和半监督学习等。

大数据分析是一个比较广的范畴，和统计分析、机器学习、数据挖掘、数据仓库等学科都存在关系，因而Michael I. Jordan建议用“数据科学”来覆盖整个领域。而大数据分析模型的建立是其中最基础也是最重要的步骤。

本章将对大数据分析模型进行概述，首先在2.1节介绍大数据分析模型建立方法，在接下来的两节中介绍两种从数据中发现规律的统计方法。一种是直接计算数据的统计量（见2.2节），另一种是利用数据来推断数据所描述对象的总体特征，即统计推断（见2.3节）。