sql 保留整数_Spark 3.0发布啦,改进SQL,弃Python 2,更好的兼容ANSI SQL,性能大幅提升...
Apache Spark 3.0.0
正式发布啦,Apache Spark 3.0
是在Spark 2.x
的基础上开发的,带来了新的想法和功能。
Spark是一个开源的大数据处理、数据科学、机器学习和数据分析工作负载的统一引擎,自2010年
首次发布以来,已经成长为最活跃的开源项目之一;支持Java、Scala、Python、R
等语言,并为这些语言提供了相关的SDK
。
Spark 3.0
中的Spark SQL
是这个版本中最活跃的组件,46%
的已解决的问题都是是针对Spark SQL
的,包括结构化流和MLlib
,以及高层API
,包括SQL
和DataFrames
。在经过了大量优化后,Spark 3.0
的性能比Spark 2.4
快了大约2
倍。
Python
是目前Spark
上使用最广泛的语言;针对Python
语言提供的PySpark
在PyPI
上的月下载量超过500万
。在Spark 3.0
中,对PySpark
的功能和可用性做了不少改进,包括用Python
类型提示重新设计pandas UDF API
,新的pandas UDF
类型,以及更多的Pythonic
错误处理。
以下便是Spark 3.0
中的功能亮点:包括自适应查询执行,动态分区修剪,ANSI SQL合规性,pandas API的重大改进,结构化流的新UI,调用R用户定义函数的速度提高了40倍,加速器感知的调度器,以及SQL参考文档。
把这些功能按照模块来划分就可以分为以下几个模块:
core、Spark SQL、Structured Streaming
MLlib
SparkR
GraphX
- 放弃
Python 2
和R 3.4
以下的版的支持; - 修复一些已知的问题;
core、Spark SQL、Structured Streaming
突出功能
- 加速器感知调度器;
- 自适应查询;
- 动态分区修剪;
- 重新设计的
pandas UDF API
与类型提示; - 结构化流用户界面;
- 目录插件
API
的支持; - 支持
Java 11
; - 支持
Hadoop 3
; - 能够更好的兼容
ANSI SQL
;
性能提升
- 自适应查询;
- 动态分区修剪;
- 优化
9
项规则; - 最小化表缓存同步性能优化;
- 将聚合代码分割成小函数;
- 在
INSERT
和ALTER TABLE ADD PARTITION
命令中增加批处理; - 允许聚合器注册为
UDAF
;
SQL兼容性增强
- 使用
Proleptic Gregorian
日历; - 建立
Spark
自己的日期时间模式定义; - 为表插入引入
ANSI
存储分配策略; - 在表插入中默认遵循
ANSI
存储分配规则; - 添加一个
SQLConf
:spark.sql.ansi.enabled
,用于开启ANSI
模式; - 支持聚合表达式的
ANSI SQL
过滤子句; - 支持
ANSI SQL OVERLAY
功能; - 支持
ANSI
嵌套方括号内的注释; - 超出整数范围时抛出异常;
- 区间算术运算的溢出检查;
- 当无效字符串被转换为数字类型时,抛出异常;
- 使用区间乘法和除法的溢出行为与其他操作一致;
- 为
char
和decimal
添加ANSI
类型的别名; SQL
解析器定义了ANSI
兼容的保留关键字;- 当
ANSI
模式开启时,禁止使用保留关键字作为标识符; - 支持
ANSI SQL.LIKE...ESCAPE
语法; - 支持
ANSI SQL
布尔-谓词语法;
PySpark增强版
- 重新设计的
pandas UDFs
,并提供类型提示; - 允许
Pandas UDF
采用pd.DataFrames
的迭代器; - 支持
StructType
作为Scalar Pandas UDF
的参数和返回类型; - 通过
Pandas UDFs
支持Dataframe Cogroup
; - 增加
mapInPandas
,允许DataFrames
的迭代器; - 部分
SQL
函数也应该取数据列名; - 让
PySpark
的SQL
异常更加Pythonic
化;
扩展性增强
- 目录插件;
- 数据源
V2 API
重构; Hive 3.0
和3.1
的版本的元存储支持;- 将
Spark
插件接口扩展到驱动程序; - 可通过自定义指标来扩展
Spark
指标系统; - 为用于扩展列式处理支持提供了开发者
API
; - 使用
DSV2
的内置源迁移:parquet, ORC, CSV, JSON, Kafka, Text, Avro
; - 允许在
SparkExtensions
中注入函数;
连接器增强
- 在数据源表中支持
spark.sql.statistics.fallBackToHdfs
; - 升级
Apache ORC
到1.5.9
; - 支持
CSV
数据源的过滤器; - 使用本地数据源优化插入分区Hive表;
- 升级
Kafka
到2.4.1
; - 新的内置二进制文件数据源,新的无操作批处理数据源和无操作流接收器;
K8s中的原生Spark应用
- 使用
K8S
进行更灵敏的动态分配,并在K8S
上增加对Spark
的Kerberos
支持; - 使用
Hadoop
兼容的文件系统支持客户端依赖性; - 在
k8s
后台增加可配置的认证秘密源; - 支持
Kubernetes
的子路径挂载; - 在
PySpark Bindings for K8S
中把Python 3
作为默认选项;
MLib
- 为
Binarizer
、StringIndexer
、StopWordsRemover
和PySpark QuantileDiscretizer
添加了多列支持; - 支持基于树的特征转换;
- 增加了两个新的评估器
MultilabelClassificationEvaluator
和RankingEvaluator
; - 增加了
PowerIterationClustering的R API
; - 添加了用于跟踪
ML
管道状态的Spark ML
监听器; - 在
Python
中的梯度提升树中添加了带有验证集的拟合。 - 增加了
RobustScaler
变压器; - 添加了因子化机器分类器和回归器;
- 增加了高斯奈夫贝叶斯和互补奈夫贝叶斯;
此外,在Spark 3.0
中,Pyspark
中的多类逻辑回归现在将返回LogisticRegressionSummary
,而不是其子类BinaryLogisticRegressionSummary
;pyspark.ml.param.shared.Has* mixins
也不再提供任何set(self, value)setter
方法,而是使用各自的self.set(self., value)
代替。
SparkR
通过矢量化的R gapply()
、dapply()
、createDataFrame
、collect()
提高性能来优化SparkR
的互操作性;
还有 "eager execution
"的R shell
,IDE
以及迭代聚类的R API
。
弃用组件
- 弃用
python 2
的支持; - 弃用
R 3.4
以下版本的支持; - 弃用
Deprecate UserDefinedAggregateFunction
;
此次的Spark 3.0
也算是一个大版本,不仅带来了不少新功能、也修复了很多已知的问题,在性能上有了很大的提升。
自从Python
官方宣布停止维护Python2
之后,各大组件也是纷纷响应,都停止了Python
的支持,各位项目学习Python
的小伙伴也是可以考虑直接学习Python 3
了。
老夫虽不正经,但老夫一身的才华!关注我,获取更多编程科技知识。
sql 保留整数_Spark 3.0发布啦,改进SQL,弃Python 2,更好的兼容ANSI SQL,性能大幅提升...相关推荐
- spark sql 查看分区_Spark 3.0 中七个必须知道的 SQL 性能优化
本文来自 IBM 东京研究院的高级技术人员 Kazuaki Ishizaki 博士在 Spark Summit North America 2020 的 <SQL Performance Imp ...
- Grafana 7.0 发布:改进的界面、新的插件平台和可视化等
点击上方蓝色"方志朋",选择"设为星标" 回复"666"获取独家整理的学习资料! 作者 | xplanet 来源 | www.oschina ...
- YMIR 里程碑1.0发布:让人人成为AI开发者更近一步
YMIR 全新里程碑1.0版本已于近日发布!借由本次发版机会,米酱将向新来的朋友们正式介绍一下 YMIR,以及向各位新老朋友详细介绍此次版本的新功能. 什么是 YMIR YMIR(挖米匠),是一个数据 ...
- 微信团队回应“部分用户朋友圈无法刷新”;罗永浩:准备做综艺节目;Apache Spark 3.0 发布| 极客头条...
整理 | 屠敏 头图 | CSDN 下载自东方 IC 快来收听极客头条音频版吧,智能播报由出门问问「魔音工坊」提供技术支持. 「极客头条」-- 技术人员的新闻圈! CSDN 的读者朋友们早上好哇,「极 ...
- Java 四舍五入求百分数 保留两位保留整数
前言 给定要给Double类型数字,四舍五入求百分数,可以保留整数 两位 0.441876900638 ==>44.19% or 44% 用拓展的方法 操作 //截取double num = D ...
- python协程框架_FastPy3.0 发布,高性能 python 协程web框架
FastPy3.0 发布了,FastPy是python领域一个高性能的web框架,底层封装gevent协程模型,使得python原生库操作mysql或者http时自动变成异步模式,使用上又具有djan ...
- SQL和Python 哪个更容易自学?
当然是SQL,无论是文科还是理科,这个答案都是毋庸置疑的. 看了很多回答,竟然有人说二者差不多,甚至有的回答为了博眼球说SQL比Python要难,真实误人子弟,害人不浅. 下面,就从如下几个方面说一下 ...
- mysql round 0.1111_听说Mysql你很豪横?-------------分分钟带你玩转SQL高级查询语句(库函数,存储过程)...
一 .数据库函数 MySQL 数据库函数提供了能够实现各种功能的方法,使我们在查询记录时能够更高效的输出.MySQL 内建了很多函数,常用的包括数学函数.聚合函数.字符串函数和日期时间函数. 1 数学 ...
- python写spark的效率问题_“大数据架构”Spark 3.0发布,重大变化,性能提升18倍...
我们激动地宣布,作为Databricks运行时7.0的一部分,可以在Databricks上使用Apache SparkTM 3.0.0版本.3.0.0版本包含超过3400个补丁,是开源社区做出巨大贡献 ...
- python保留整数_python怎么保留整数
Python 几种取整的方法 数据处理是编程中不可避免的,很多时候都需要根据需求把获取到的数据进行处理,取整则是最基本的数据处理.取整的方式则包括向下取整.四舍五入.向上取整等等. 1.向下取整(推荐 ...
最新文章
- 2022-2028年中国新零售行业深度调研及投资前景预测报告(全卷)
- Cylinder3D :3D环境下的Lidar 点云分割
- 修复 Windows XP/2003 双系统无法启动
- 架空输电线路运行规程_架空输电线路杆塔金具的种类
- officeopenxml excelpackage 需要安装excel嘛_使用ABAP操作Excel的几种方法
- flutter webview浏览器及与js交互、打开第三方app
- android获取图片方向并旋转,Android 判断imageview角度并旋转
- thinkPHP5.0数据查询表达式生成技巧
- jquery中checkbox全选失效的解决方法
- 学习JSP大学实用教程
- linux 报警级别,linux PMBus总线驱动设计分析
- 如何在CAD中实现影像与矢量叠加套合(七参数法)
- VCC、VDD、VSS等是什么意思
- ssh登录极路由后台_从浏览器如何进入路由器后台【详细介绍】
- 操作系统文件保护及文件共享
- Java基础常见英语词汇
- Python数据可视化:Cartopy 地理空间数据可视化
- Apollo(阿波罗)架构深度剖析
- 学习TDD:TDD的好处
- Android中获取唯一的id
热门文章
- Java异常处理之------Java方法中throws Exception使用案例!什么情况下使用throws Exception?...
- VsVim - Shortcut Key (快捷键)
- Hibernate(六):映射一对多关联关系、双向一对多映射
- 算法导论笔记(四)算法分析常用符号
- 为用户设计良好的接口
- 用DVD镜像离线安装Debian的软件包
- 【转】Python基础-字符串
- 共享一款基于 jQuery 的多功能对话框插件 jBox,强不强大,用了才知道:)
- const 和 非const函数重载
- 转载:向 XPath 中添加自定义函数