pyspark 并行调用udf函数

背景：在 pyspark中udf写法及其使用中我们使用pyspark定义好的udf逐条处理数据（dataframe）。这篇文章提供一种“并行”调用udf的方法。

from pyspark.sql import Row
from pyspark.sql.types import StringType, StructField, StructType# udf定义
def proc_func(row):row_dict = row.asDict(True)  # 将rdd转化成字典格式col_1 = row_dict['col_1']new_col = 'proc_{}'.format(col_1)row_dict['new_col'] = new_colreturn Row(**row_dict)# 定义输出字段
output_struct = StructType([StructField('col_1', StringType()),StructField('new_col', StringType())
]) # 调用udf
your_df = your_df.rdd.map(proc_func)  # 需要将DataFrame转为rdd# 将处理结果再解析为Dataframe
your_df = spark.createDataFrame(your_df.map(lambda row: Row(row.col_1,row.new_col)), output_struct)

其他补充，以下是几个常见的类型

from pyspark.sql.types import IntegerType, StringType, ArrayType# int型
IntegerType()# list型
ArrayType(IntegerType())  # int list
ArrayType(StringType())  # string list

使用这种方式，会大大减少数据计算时间。

pyspark 并行调用udf函数相关推荐

pyspark udf函数
from pyspark.sql.types import ArrayTypedef square_list(x):return [float(val)**2 for val in x] square ...
GBase 8a UDF 函数串并行控制基础知识
扩展 UDF 支持多线程并行计算,但有如下限制: 1 UDF 函数的串/并行执行需要由用户自己做出判断,并传入控制参数,数据库无法对 UDF 函数进行串/并行执行的判断. 2 不可并行的 UDF 函数 ...
pyspark 编写 UDF函数
pyspark 编写 UDF函数前言以前用的是Scala,最近有个东西要用Python,就查了一下如何编写pyspark的UDF. pyspark udf 也是先定义一个函数,例如: def ge ...
pyspark编写UDF函数
pyspark 编写 UDF函数 pyspark udf 1.先定义一个函数,例如: def get_time(ts):try:res = datetime.fromtimestamp(int(ts) ...
UDF函数，hive调用java包简单方法
UDF函数,是hadoop在强大的大数据批量导入导出操作之余,为了满足复杂的数据逻辑操作留下的接口核心思想:不管是UDF函数还是自定义处理jar包,都是要放置在hadoop服务器上的,相当于hado ...
java mysql自定义函数UDF之调用c函数
正如sqlite可以定义自定义函数,它是通过API定义c函数的,不像其他,如这里的mysql.sqlite提供原生接口就可以方便的调用其他语言的方法,同样的mysql也支持调用其它语言的方法. goo ...
Impala UDF - Impala调用Hive UDF函数
Impala 中运行 Hive UDF 场景:部分查询需要快速返回,使用Impala进行快速.复杂的查询 1.简单的UDF函数过滤,判断是否包含"好"字,返回boolean类型 i ...
hive java udf_hive java编写udf函数
(一)创建JAVA 代码--例子 package hiveOpt; import org.apache.hadoop.hive.ql.exec.UDF; import org.apache.hadoo ...
hive UDF函数取最新分区
hive UDF函数取最新分区 1.pom文件 <dependencies><!-- https://mvnrepository.com/artifact/org.apache.hi ...

pyspark 并行调用udf函数

pyspark 并行调用udf函数相关推荐

最新文章

热门文章