pyspark 修改python版本_python – Pyspark从日期到字符串更改列的类型

我有以下数据帧：

corr_temp_df

[('vacationdate', 'date'),

('valueE', 'string'),

('valueD', 'string'),

('valueC', 'string'),

('valueB', 'string'),

('valueA', 'string')]

现在我想将列vacationdate的数据类型更改为String,这样数据帧也会采用这种新类型并覆盖所有条目的数据类型数据.例如.写完后：

corr_temp_df.dtypes

应该覆盖vacationdate的数据类型.

我已经使用了诸如cast,StringType或astype之类的函数,但我没有成功.你知道怎么做吗？

解决方法:

让我们创建一些虚拟数据：

import datetime

from pyspark.sql import Row

from pyspark.sql.functions import col

row = Row("vacationdate")

df = sc.parallelize([

row(datetime.date(2015, 10, 07)),

row(datetime.date(1971, 01, 01))

]).toDF()

如果Spark> = 1.5.0,您可以使用date_format函数：

from pyspark.sql.functions import date_format

(df

.select(date_format(col("vacationdate"), "dd-MM-YYYY")

.alias("date_string"))

.show())

在Spark< 1.5.0可以使用Hive UDF完成：

df.registerTempTable("df")

sqlContext.sql(

"SELECT date_format(vacationdate, 'dd-MM-YYYY') AS date_string FROM df")

它当然仍然可以在Spark> = 1.5.0中使用.

如果您不使用HiveContext,则可以使用UDF模仿date_format：

from pyspark.sql.functions import udf, lit

my_date_format = udf(lambda d, fmt: d.strftime(fmt))

df.select(

my_date_format(col("vacationdate"), lit("%d-%m-%Y")).alias("date_string")

).show()

标签：python,apache-spark,pyspark,apache-spark-sql

来源： https://codeday.me/bug/20191001/1837960.html

pyspark 修改python版本_python – Pyspark从日期到字符串更改列的类型相关推荐

PySpark之Python版本如何选择(详细版)
问题背景公司目前有两套Spark集群和一套Hadoop集群用来做数据相关的存储和计算.Hadoop的版本是2.7,Spark两套集群,一个是2.1.0版本,一个是 2.4.3版本.但是两个Spar ...
colab修改python版本
在使用出colab进行模型训练时,发现colab的python版本更新为了3.7.11,而我的代码要在python3.6下才行配置好环境,于是,开始修改python版本,并配置环境. 1.使用如下命令 ...
pysparkpython版本_pyspark修改python版本
ubuntu自带的python 版本是2.7, 我们要把pyspark默认改成anaconda python 3.6 down vot You can specify the version of P ...
mac修改默认python版本_Mac系统修改Python版本软链接
通常Mac系统自带Python版本都是2.x,但在工作中,越来越多的库,框架都需要更高的版本3.x,有三种升级方式,一种是Brew安装,一种是在Python官网下载,还有一种是使用第三方软件,如Ana ...
python antlr4需要的python 版本_python多版本管理器pyenv
查看Linux版本 1[root@web ~]# cat /etc/redhat-release 2CentOS Linux release 7.6.1810 (Core) 3[root@web ~] ...
有多个python版本_python 多版本共存
有时候需要在同一台机器上安装多个版本的python 常见的解决方式如下: 一. 1. 下载python2.7和python3.7,然后在C盘下新建一个Python文件夹, python2.7安装到 ...
anaconda对应python版本_Python基础——如何查看python版本、如何查看多个python版本
前言初学者来说,安装python过程是存在一定难度的. 在安装过程中,可能安装了多个python版本,可能安装了anaconda导致有自带的python,同时本身电脑也安装了官方下载的python也 ...
linux修改python版本修改哪个配置文件_linux安装python修改默认python版本方法
linux默认是安装了python,默认是安装python2.6.6,可能安装的版本是不能符合我们需要的python要求的.我们需要重新安装python的版本,今天演示一下安装python3 首先下载 ...
cpickle支持的python版本_Python cPickle模块(转)
持久性就是指保持对象,甚至在多次执行同一程序之间也保持对象.通过本文,您会对 Python对象的各种持久性机制(从关系数据库到 Python 的 pickle以及其它机制)有一个总体认识.另外,还会让 ...

pyspark 修改python版本_python – Pyspark从日期到字符串更改列的类型

pyspark 修改python版本_python – Pyspark从日期到字符串更改列的类型相关推荐

最新文章

热门文章