pyspark模块介绍

pyspark是Spark的python API，提供了使用python编写并提交大数据处理作业的接口。在pyspark里大致分为5个主要的模块

pyspark模块，这个模块四最基础的模块，里面实现了最基础的编写Spark作业的 API。这个模块里面有以下内容：

Sparkcontext:它是编写Spark程序的主入口
RDD：分布式弹性数据集，是Spark内部中最重要的抽象
Broadcast：在各个任务task中重复使用的广播变量
Accumulator：一个只能增加的累加器，在各个任务中都可以进行累加，最终进行全局累加
SparkConf：一个配置对象，用来对Spark中的例如资源，内核个数，提交模式等的配置
SparkFiles：文件访问API
StorageLevel：它提供了细粒度的对于数据的缓存、持久化级别
TaskContext：实验性质的API，用于获取运行中任务的上下文信息。

pyspark.sql模块，这个模块是架构在RDD之上的高级模块，提供了SQL的支持，包含以下内容：

SparkSession：SparkSQL的主入口，其内部仍然是调用 SparkContext的
DataFrame：分布式的结构化的数据集，最终的计算仍然转换为 RDD上的计算
Column：DataFrame中的列 Row：DataFrame中的行
GroupedData：这里提供聚合数据的一些方法
DataFrameNaFunctions:处理缺失数据的方法
DataFrameStatFunctions：提供统计数据的一些方法
functions：内建的可用于DataFrame的方法
types：可用的数据类型 Window:提供窗口函数的支持

pyspark.streaming这个模块主要是用来处理流数据，从外部的消息中间件如kafka， flume或者直接从网络接收数据，来进行实时的流数据处理。其内部会将接收到的数据转换为DStream，DStream的内部实际上就是RDD。pyspark.streaming对流数据的支持还不是很完善，不如原生的Scala语言和Java语言。但这节课仍然会包括最主要的原理。这节包含以下内容：

接收数据的原理及过程
接收网络数据
接收kafka数据

pyspark.ml这个模块主要是做机器学习的，里面实现了很多机器学习算法，包括分类、回归、聚类、推荐。pyspark.ml这个模块现已经成为主要的机器学习模块，其内部实现是基于DataFrame数据框。
pyspark.mllib这个模块也是做机器学习的，但是这个模块底层使用的RDD，RDD在性能上优化的余地较少，因此现在最新的机器学习算法都是用基于DataFrame的API来实现。但这个模块里面也有很多有用的机器学习算法

pyspark模块介绍相关推荐

爬虫之requests模块介绍
爬虫之requests模块介绍 requests文档http://docs.python-requests.org/zh_CN/latest/index.html [文档中包括的快速上手要精 ...
Zynq器件XADC模块介绍
1．前言赛灵思的7系列FPGA和Zynq器件创造性地在片上集成了模数转换器和相关的片上传感器(内置温度传感器和功耗传感器),这是相比赛灵思前一代产品来新增加的特性,可在系统设计中免去外置的ADC器件 ...
python模块介绍-locustio：性能测试工具locustio
转自:http://automationtesting.sinaapp.com/blog/m_locustio_doc python测试文章 http://weibo.com/cizhenshi?is ...
【收藏】GeoMesa整体架构模块介绍、创建Schema并导入数据
geomesa-accumulo:基于 Apache Accumulo的DataStore 实现 geomesa-archetypes: Maven构建模板 geomesa-arrow: 基于 Apa ...
两款【linux字符界面下】显示【菜单】，【选项】的powershell脚本模块介绍
两款[linux字符界面下]显示[菜单],[选项]的powershell脚本模块介绍 powershell linux ps1 menu choice Multiselect 传教士菜单 powe ...
Spring之旅—Spring模块介绍
1.0 Spring模块介绍核心容器(Spring Core) 核心容器提供Spring框架的基本功能.Spring以bean的方式组织和管理Java应用中的各个组件及其关系.Spring使用Be ...
EBS模块介绍和概念解释
Oracle模块介绍和概念解释 Oracle重要模块简介账套会议科目表记账本位币会议日历的财务报告实体组织业务组公司的最高部门法人实体提交财务和税务报表的法人公司经营单位 orac ...
python url模块介绍_python 中 urlparse 模块介绍
urlparse模块主要是用于解析url中的参数对url按照一定格式进行拆分或拼接 1.urlparse.urlparse 将url分为6个部分,返回一个包含6个字符串项目的元组:协议.位置.路 ...
python模块介绍- xlwt 创建xls文件（excel）
python模块介绍- xlwt 创建xls文件(excel) 2013-06-24磁针石 #承接软件自动化实施与培训等gtalk:ouyangchongwu#gmail.comqq 37391319 ...

pyspark模块介绍

pyspark是Spark的python API，提供了使用python编写并提交大数据处理作业的接口。在pyspark里大致分为5个主要的模块

pyspark模块介绍相关推荐

最新文章

热门文章

pyspark模块介绍

pyspark是Spark的python API，提供了使用python编写并提交大数据处理作业的接口。 在pyspark里大致分为5个主要的模块

pyspark模块介绍相关推荐

最新文章

热门文章

pyspark是Spark的python API，提供了使用python编写并提交大数据处理作业的接口。在pyspark里大致分为5个主要的模块