SparkSQL读取文件时，数据字段类型调整

使用spark读取parquet文件时，例如读取在file:///E:/test/clean文件夹下的文件：

而我们的文件内容中的数据结构是：

  val struct = StructType(Array(StructField("uid", StringType),StructField("time", StringType),StructField("netType", StringType),StructField("ip", StringType),StructField("desc_type", StringType),StructField("day", StringType),StructField("num", LongType),StructField("city", StringType)))

但是当我们读取文件时：

object TopNStatJob {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("TopNStatJob").config("spark.sql.sources.partitionColumnTypeInference.enabled","false").master("local[2]").getOrCreate()val accessDF = spark.read.format("parquet").load("file:///E:/test/clean")accessDF.printSchema()accessDF.show(false)spark.stop}
}

控制台输出的schema信息是：

在之前定义的day类型是string，而读取时的类型变成了integer。
因此需要修改：

 val spark = SparkSession.builder().appName("TopNStatJob").config("spark.sql.sources.partitionColumnTypeInference.enabled","false").master("local[2]").getOrCreate()

SparkSQL读取文件时，数据字段类型调整相关推荐

pandas使用read_csv函数读取文件时指定数据列的数据类型、pandas使用read_csv函数读取文件时通过keep_default_na参数设置缺失值替换为空字符串
pandas使用read_csv函数读取文件时指定数据列的数据类型.pandas使用read_csv函数读取文件时通过keep_default_na参数设置缺失值替换为空字符串目录
python读取文件模式_python如何读取文件的数据
使用 read() 函数读取文件时,如果文件过大,则一次读取全部内容到内存,容易造成内存不足,而相比每次限制读取字符(或字节)的个数,更推荐大家使用逐行读取文件的方式.一般情况下,逐行读取只适用于以文 ...
python怎么读取文件-python如何读取文件的数据
使用 read() 函数读取文件时,如果文件过大,则一次读取全部内容到内存,容易造成内存不足,而相比每次限制读取字符(或字节)的个数,更推荐大家使用逐行读取文件的方式.一般情况下,逐行读取只适用于以文 ...
python里怎么读取文件-python如何读取文件的数据
使用 read() 函数读取文件时,如果文件过大,则一次读取全部内容到内存,容易造成内存不足,而相比每次限制读取字符(或字节)的个数,更推荐大家使用逐行读取文件的方式.一般情况下,逐行读取只适用于以文 ...
模板引擎不关心内容之——art-template，碰见的同步与fs.readFile异步以及函数回调问题的描述，针对fs的readfille读取文件时，返回不了异步函数返回值的解决方法
模板引擎不关心内容 art-template art-template不仅可以在浏览器使用,也可以在node中使用 npm install art-template该命令在哪执行就会把包下载在哪里,默 ...
python读取文本并且替换_python 读取文件并替换字段的实例
如下所示: fp = open(''test2.txt','w') #打开你要写得文件test2.txt lines = open('test1.txt').readlines() #打开文件,读入每 ...
linux 查看文件中数据类型,Linux下使用file命令确定文件中数据的类型-文件类型...
青年是学习智慧的时期,中年是付诸实践的时期.--卢梭在Linux系统中查看一个文件之前,要先确定该文件中数据的类型,之后再使用适当的命令或方法打开该文件. 与windows系统不同,在Linux系统 ...
文件的创建与读取文件的数据添加
文件的创建与读取文件的数据添加一:概要 1:首先要站在程序的角度上. 2:文件的创建即将程序中的数据写入到文件当中. 3:文件的读取即将一个文件中的信息读取到程序当中. 二:步骤 1:创 ...
Java笔记-解决读取文件时中文乱码问题（InputStreamReader设置编码）
Java一般读取文件时使用如下代码: InputStream inputStream = this.getClass().getClassLoader().getResourceAsStream(&q ...

SparkSQL读取文件时，数据字段类型调整

SparkSQL读取文件时，数据字段类型调整相关推荐

最新文章

热门文章