基本信息

书名:大数据Spark企业级实战

定价：129元

作者:Spark亚太研究院 王家林 编著

出版社：电子工业

出版日期：2015-01-01

ISBN：9787121247446

字数：1136800

页码：812

版次：1

装帧：平装

开本：16开

商品重量：0.3kg

编辑推荐

---

推荐购买：Java虚拟机精讲Boost程序库完全开发指南——深入C “准”标准库（第3版）让用户体验融入企业基因Spring Batch 批处理框架Cocos2d-x 3.X游戏开发入门精解(含DVD光盘1张)游戏自动化测试实践 Life is short， you need Spark！ Spark是当今大数据领域*活跃*热门的高效的大数据通用计算平台。基于RDD，Spark成功地构建起了一体化、多元化的大数据处理体系。 雅虎、Conviva、淘宝、网易、大众点评、优酷土豆、腾讯、华为等公司均在生产环境中部署了大规模的Spark。 本书完全从企业处理大数据业务场景的角度出发，完全基于实战代码来组织内容，从零起步，不需任何基础，完全无痛地掌握Spark大数据处理实战技术，源码解析： Spark集群的动手构建 Spark架构 Spark内核的深入解析 Spark子框架的细致剖析和实战 Tachyon文件系统揭秘 Spark多语言编程 SparkP Spark性能调优和**实践 一站式实现Spark企业级开发实战！

内容提要

---

Spark是当今大数据领域最活跃、最热门、效的大数据通用计算平台，是Apache软件基金会下所有开源项目中开源项目之一。

在“One Stack to rule them all”理念的指引下，Spark基于RDD成功地构建起了大数据处理的一体化解决方案，将MapReduce、Streaming、SQL、Machine Learning、Graph Processing等大数据计算模型统一到一个技术堆栈中，开发者使用一致的API操作Spark中的所有功能；更为重要的是Spark的Spark SQL、MLLib、GraphX、Spark Streaming等子框架之间可以在内存中完美的无缝集成并可以互相操作彼此的数据，这不仅打造了Spark在当今大数据计算领域其他任何计算框架都无可匹敌的优势，更使得Spark正在加速成为大数据处理中心的和的计算平台。

《大数据Spark企业级实战》详细解析了企业级Spark开发所需的几乎所有技术内容，涵盖Spark的架构设计、Spark的集群搭建、Spark内核的解析、Spark SQL、MLLib、GraphX、Spark Streaming、Tachyon、SparkR、Spark多语言编程、Spark常见问题及调优等，并且结合Spark源码细致的解析了Spark内核和子框架，最后在附录中提供了的Spark的开发语言Scala快速入门实战内容，学习完此书即可胜任绝大多数的企业级Spark开发需要。

《大数据Spark企业级实战》从零起步，完全从企业处理大数据业务场景的角度出发，基于实战代码来组织内容，对于一名大数据爱好者来说，《大数据Spark企业级实战》内容可以帮助您一站式地完成从零起步到进行Spark企业级开发所需要的全部核心内容和实战需要。

目录

---

第1章　Spark编程模型 1

1.1 Spark：一体化、多元化的高速

大数据通用计算平台和库 1

1.1.1 为什么需要使用Spark 5

1.1.2 Spark技术生态系统简介 9

1.2 Spark大数据处理框架 20

1.2.1 Spark速度为何如此之快 20

1.2.2 RDD：分布式函数式编程 24

1.3 Spark子框架解析 28

1.3.1 图计算框架Spark GraphX 28

1.3.2 实时流处理框架（Spark Streaming） 41

1.3.3 交互式SQL处理框架Spark SQL 46

1.3.4 机器学习框架（Spark MLlib） 49

第2章　构建Spark分布式集群 55

2.1 搭建Hadoop单机版本和伪分布式开发环境 55

2.1.1 开发Hadoop需要的基本软件 56

2.1.2 安装每个软件 58

2.1.3 配置Hadoop单机模式并运行Wordcount示例 76

2.1.3 配置Hadoop伪分布模式并运行Wordcount示例 84

2. 2 搭建 Hadoop分布式集群的 92

2.2.1 在VMWare 中准备第二、第三台运行Ubuntu系统的机器 92

2.2.2 按照配置伪分布式模式的方式配置新创建运行Ubuntu系统的机器 93

2.2.3 配置Hadoop分布式集群环境 94

2.2.4 测试Hadoop分布式集群环境 105

2.3 Spark集群的动手搭建 108

2.3.1 Spark集群需要的软件 108

2.3.2 安装每个软件 110

2.3.3 启动并查看集群的状况 116

2.4 构建Hadoop单机版本和伪分布式环境 120

2.4.1 通过Spark的shell测试Spark的工作 121

2.4.2 使用Spark的cache机制观察一下效率的提升 125

第3章　Spark开发环境及其测试 129

3.1 搭建和设置IDEA开发环境 129

3.1.1 构建Spark的IDE开发环境 129

3.1.2 配置Spark的IDE开发环境 132

3.2 测试IDEA环境 146

3.3 实战：在IDEA中开发代码，并运行在Spark集群中 148

第4章　Spark RDD与编程API实战 159

4.1 深度解析Spark RDD 159

4.2 Transformation Operations动手实战 165

4.3 Action Operations动手实战 175

4.4 Spark API综合实战 179

第5章　Spark运行模式深入解析 191

5.1 Spark运行模式概述 192

5.1.1 Spark的运行模式列表 196

5.1.2 Spark的基本工作流程 197

5.2 Standalone模式 201

5.2.1 部署及程序运行 202

5.2.2 内部实现原理 206

5.3 Yarn-Cluster模式 234

5.3.1 部署及程序运行 235

5.3.2 内部实现原理 237

5.4 Yarn-Client模式 243

5.4.1 部署及运行程序 243

5.4.2 内部实现原理 244

第6章　Spark内核解析 247

6.1 Spark内核初探 247

6.1.1 Spark内核核心术语解析 247

6.1.2 Spark集群概览 250

6.1.3 Spark核心组件 251

6.1.4 Spark任务调度系统初见 252

6.2 Spark内核核心源码解读 256

6.2.1 SparkContext核心源码解析初体验 256

6.2.2 TaskSceduler启动源码解析初体验 260

6.2.3 DAGScheduler源码解读初体验 261

6.2.4 Spark的Web监控页面 262

6.3 以RDD的count操作为例触发Job全生命周期源码研究 263

6.4 Akka驱动下的Driver、Master、Worker 276

6.4.1 Driver中的AppClient源码解析 276

6.4.2 AppClient注册Master 279

6.4.3 Worker中Executor启动过程源代码解析 282

第7章　GraphX大规模图计算与图挖掘实战 287

7.1 Spark GraphX概览 288

7.2 Spark GraphX设计实现的核心原理 291

7.3 Table operator和Graph Operator 295

7.4 Vertices、edges、triplets 296

7.5 以最原始的方式构建graph 299

7.6 动手编写个Graph代码实例并进行Vertices、edges、triplets操作 299

7.7 在Spark集群上使用文件中的数据加载成为graph并进行操作 310

Spark亚太研究院首席专家，中国移动互联网和云计算大数据集大成者。在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码，并已完成2014年5月31日发布的Spark1.0源码研究。

Hadoop源码级专家，曾负责某知名公司的类Hadoop框架开发工作，专注于Hadoop一站式解决方案的提供，同时也是云计算分布式大数据处理的最早实践者之一。

Android架构师、高级工程师、咨询顾问、培训专家。

通晓Spark、Hadoop、Android、HTML5，迷恋英语播音和健美。