Spark 1.2 发布，开源集群计算系统

2019独角兽企业重金招聘Python工程师标准>>>

Spark 1.2 发布，此版本包括 172 位贡献者和超过 1000 个 commits。

此版本包括

Spark 核心操作和性能改进；
添加新的网络传输子系统，进行了较大的改进；
Spark SQL 引入了一个外部数据源的支持，支持 Hive13；
动态分区；
fixed-precision decimal type；
MLlib 添加了一个新的面向管道包 (spark.ml)，组合多个算法；
Spark Streaming 添加了一个 Python API，提前写错误容错日志；
GraphX 正式脱离 Alpha 版本，引入了一个稳定的 API。

更多内容请看发行说明，现已提供下载。

Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

尽管创建 Spark 是为了支持分布式数据集上的迭代作业，但是实际上它是对 Hadoop 的补充，可以在 Hadoo 文件系统中并行运行。通过名为 Mesos 的第三方集群框架可以支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

Spark 1.2 发布，开源集群计算系统相关推荐

记一次基于Hadoop 3.3.0 安装部署 Spark 3.0.0 分布式集群
一.基本信息官网 http://spark.apache.org/ Apache Spark 官方文档中文版(Spark 2.2.0) http://spark.apachecn.org/#/ Sp ...
spark提交到yarn_详细总结spark基于standalone、yarn集群提交作业流程
最近总结了一些关于spark core的内容,今天先来和大家分享一下spark的运行模式. spark运行模式 (1)local:在本地eclipse.IDEA中写spark代码运行程序,一般用于测试 ...
Spark基础学习笔记06：搭建Spark On YARN模式的集群
文章目录零.本讲学习目标一.在Spark Standalone模式的集群基础上修改配置二.运行Spark应用程序 (一)启动Hadoop的HDFS和YARN (二)运行Spark应用程序 (三) ...
生产环境实战spark （5）分布式集群 5台设备之间hosts文件配置 ssh免密码登录
生产环境实战spark (5)分布式集群 5台设备之间 ssh免密码登录之前已经在master节点单台设备上配置ssh免密码的登录工作,现在要做的事情是在5台设备之间实现ssh免密码操作.我在整个大 ...
从零到一编写一个 spark 程序并提交到集群中运行
怎样用IDEA编写spark程序并提交到集群上运行 1.安装scala sdk 1.下载 scala 安装程序 #下载地址 https://www.scala-lang.org/download #w ...
Spark练习 - 提交作业到集群 - submit job via cluster
Created by Wang, Jerry, last modified on Sep 12, 2015 start-master.sh ( sbin folder下) then ps -aux 7 ...
RabbitMQ 从入门到精通消息应答持久化交换机队列发布确认集群等
RabbitMQ消息队列 RabbitMQ 的概念 RabbitMQ 是一个消息中间件:它接受并转发消息.你可以把它当做一个快递站点,当你要发送一个包裹时,你把你的包裹放到快递站,快递员最终会把你的快 ...
新品发布 | 无人机集群编队全套方案来啦！
无人机集群编队开发平台当我们研究集群算法或相关应用时,一般情况下,都会先开发仿真,仿真开发完毕后,常常因为找不到合适的无人机平台验证自己的集群算法或代码而发愁,好不容易找到接近的无人机平台后,却又与 ...
spark调用python_在MRS集群中使用Python3.7运行PySpark程序，调用RDD的take函数报错处理...
现象如果我们安装了python3.7版本来运行spark,并且用到了RDD的take函数,就会报错:RuntimeError: generator raised StopIteration 我们可以 ...

Spark 1.2 发布，开源集群计算系统

相关链接

Spark 1.2 发布，开源集群计算系统相关推荐

最新文章

热门文章