《Scala机器学习》一一第3章使用Spark和MLlib

第3章使用Spark和MLlib

上一章介绍了在全局数据驱动的企业架构中的什么地方以及如何利用统计和机器学习来处理知识，但接下来不会介绍Spark和MLlib的具体实现，MLlib是Spark顶层的机器学习库。Spark是大数据生态系统中相对较新的成员，它基于内存使用而不是磁盘来进行优化。数据仍然可以根据需要转储到磁盘上，但Spark只有在明确指示这样做或活动数据集不适合内存时才会执行转储。如果节点出现故障或由于某些原因从内存中擦除信息，Spark会利用存储的信息来重新计算活动数据集。这与传统的MapReduce方法不同，传统的MapReduce方法会将每个map或reduce的数据保留到磁盘上。
Spark特别适合于在分布式节点集上的迭代或统计机器学习算法，并且可以对其进行扩展。对于Spark，唯一的问题是节点中可用的总内存空间和磁盘空间，以及网络速度。本章将介绍Spark架构和实现的基础知识。
可简单修改配置参数来管理Spark在单个节点上或跨一组节点执行数据管道。当然，这种灵活性以稍微复杂的框架和更长的设置时间为代价，但框架的并行性非常好。由于目前大多数笔记本电脑已经是多线程且足够强大，因此这样的配置通常不会有大问题。
本章将介绍以下主题：
安装和配置Spark
Spark架构的基础知识，并解释为什么它会绑定Scala语言
为什么Spark是继顺序编程和Hadoop MapReduce之后的下一代技术
Spark组件
Scala和Spark中单词计数程序的实现
基于流的单词计数程序的实现
如何从分布式文件或分布式数据库中创建Spark的数据框（DataFrame）
Spark性能调整

《Scala机器学习》一一第3章使用Spark和MLlib相关推荐

《Scala机器学习》一一3.3　应用
本节书摘来自华章计算机<Scala机器学习>一书中的第3章,第3.3节,作者:[美] 亚历克斯·科兹洛夫(Alex Kozlov),更多章节内容可以访问云栖社区"华章计算机&qu ...
《Scala机器学习》一一
本节书摘来自华章计算机<Scala机器学习>一书中的第3章,第3.1节,作者:[美] 亚历克斯·科兹洛夫(Alex Kozlov),更多章节内容可以访问云栖社区"华章计算机&qu ...
《Scala机器学习》一一1.1　Scala入门
本节书摘来自华章计算机<Scala机器学习>一书中的第1章,第1.1节,作者:[美] 亚历克斯·科兹洛夫(Alex Kozlov),更多章节内容可以访问云栖社区"华章计算机&qu ...
学习笔记----周志华《机器学习》第五章（神经网络）（二）
周志华<机器学习>第五章(神经网络)的学习笔记上篇连接在这里:<上篇>.上篇讲到了神经网络.常用的激活函数.感知机和多层前馈神经网络.局部极小和全局最小,今天继续补上昨天落下得 ...
机器学习coursera 第三章编程作业
机器学习coursera 第三章编程作业 Multi-class Classification and Neural Networks lrCostFunction 整个题目给了两个数据集,一个是关于 ...
机器学习笔记第1章【机器学习导论】
机器学习笔记第1章[机器学习导论] 一.监督学习 1.经验风险与期望风险 2.过学习与欠学习 3.模型评估与选择 4.结构风险最小(经验风险上加惩罚项或正则化项) 5.正则化与交叉验证二.无监督学习 ...
李弘毅机器学习笔记：第二章
李弘毅机器学习笔记:第二章回归定义和应用例子回归定义应用举例模型步骤 Step 1:模型假设 - 线性模型一元线性模型(单个特征) 多元线性模型(多个特征) Step 2:模型评估 - 损失 ...
李弘毅机器学习：第四章—梯度下降法
李弘毅机器学习:第四章-梯度下降法什么是梯度下降法? Review: 梯度下降法 Tip1:调整学习速率小心翼翼地调整学习率自适应学习率 Adagrad 算法 Adagrad 是什么? Adag ...
李弘毅机器学习笔记：第九章—Hello world of dee
李弘毅机器学习笔记:第九章-"Hello world" of dee keras 是什么示例步骤1:定义模型步骤2:模型评估步骤3:最佳模型 3.1 Configurati ...

《Scala机器学习》一一第3章使用Spark和MLlib

第3章使用Spark和MLlib