前　　言

本书的缘起与成书过程

大数据经过分析能够产生高价值，这无疑已在大数据火爆的今天成为共识，从而使得大数据分析在“大数据+”涉及的领域（如工业、医疗、农业、教育等）有了广泛的应用。大数据分析的相关知识不仅是大数据行业的从业人员应该必备的，也是和大数据相关的各行各业的从业者需要了解的。

然而，人们对大数据分析的解读有多个不同方面。从“分析”的角度解读，大数据分析可以看作统计分析的延伸；从 “数据”的角度解读，大数据分析可以看作数据管理与挖掘的扩展；从“大”的角度解读，大数据分析可以看作数据密集高性能计算的具体化。

而大数据分析的有效实施也需要多个方面的知识。从分析的角度来讲，需要统计学、数据分析、机器学习等方面的知识；从数据处理的角度来讲，需要数据库、数据挖掘等方面的知识；从计算平台的角度来讲，需要并行系统和并行计算的知识。

上述多样化造成了目前大数据分析的教材和参考书的多样化：有些书重点介绍统计学或者机器学习知识，突出“分析”；有些书重点介绍实现平台和技术，突出“大”；有些书重点介绍数据挖掘知识及其应用，突出“数据”。笔者认为，这三类知识对大数据分析都是必不可少的，于是试图编写一本教材来融合这三类知识，给读者展示一个相对广阔的大数据分析图景。

也正是因为解读的角度和所需知识的多样化，本书的成书过程也比较曲折。在成书的过程中，笔者对大数据分析的认识也在不断加深，因而在编写过程中几次变换结构和体例。由于笔者主要从事数据相关工作，所以起初以大数据分析算法和相关技术为主，对数据分析模型方面的知识只是一笔带过。在和业内人士的交流中发现，对于很多读者来说，了解分析模型可能更重要，因为很多分析算法和大数据分析所需的技术都有平台实现，分析模型却需要了解业务的人来建立，于是笔者增加了较多数据分析模型方面的内容。而后通过和阿里云的合作，笔者又进一步了解了大数据分析的需求，于是增加了数据预处理等内容，并基于阿里云的技术和平台对书中的一些内容做了实现。这就是本书现在的版本。

本书的内容

本书力求系统地介绍大数据分析过程中的模型、技术、实现平台和应用。考虑到不同部分的侧重不同，故采取了不同的写作方法，尽可能使本书的内容适合更多的读者阅读。

模型部分主要突出了大数据分析模型的描述方法。通过这一部分的学习，读者可以在不考虑实现的情况下，针对应用需求建立大数据分析模型，即使不了解实现平台和具体技术，读者也可以独立学习这部分内容。在实践中，可以将分析模型表达为R语言，甚至像阿里云提供的可视化工具中那样分析流程，即使不掌握算法等方面的技术，同样可以进行大数据分析。

当然，如果对大数据分析相关技术有深入了解，会更加快速有效地进行分析，因而技术部分介绍了大数据分析所涉及的技术，重点在于解决大数据分析的效率和可扩展性问题。

“工欲善其事，必先利其器”，有了好的开发平台，就可以有效地实现相关的技术，因而实现平台部分介绍了多种开发大数据分析系统的实现平台。

最后两章针对“推荐系统”和“社交网络”这两个大数据分析的典型应用涉及的一些模型和技术进行了介绍，也是前面内容在应用中的具体体现。

“大数据”是一个比较宽泛的概念，本书围绕着分析过程进行讲解，突出大数据的特点，与大数据算法、大数据系统、大数据程序的编程实现、机器学习、统计学等书籍具有互补性，读者可以相互参考。

王宏志
2017年2月7日于哈尔滨

目　　录

[第1章　绪论
1.1　什么是大数据 ](https://yq.aliyun.com/articles/212332/)
1.2　哪里有大数据
1.3　什么是大数据分析
1.4　大数据分析的过程、技术与难点
1.5　全书概览
小结
习题
第2章　大数据分析模型
2.1　大数据分析模型建立方法
2.2　基本统计量
2.2.1　全表统计量
2.2.2　皮尔森相关系数
2.3　推断统计
2.3.1　参数估计
2.3.2　假设检验
2.3.3　假设检验的阿里云实现
小结
习题
第3章　关联分析模型
3.1　回归分析
3.1.1　回归分析概述
3.1.2　回归模型的拓展
3.1.3　回归的阿里云实现
3.2　关联规则分析
3.3　相关分析
小结
习题