解决scala_spark本地读取csv中文乱码问题

正常读取：

    val spark = SparkSession.builder().master("local").appName("rank").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("error")val lines = sc.textFile("/Users/Documents/日志数据分析/20220215134411.csv")lines.take(2).foreach(println) //乱码问题

输出结果：

ord_complete_tm,user_log_acct,corp_name,parent_sale_ord_id,amount
2021-01,��ͨ��Լ��̳�,��ͨ��ֿƼ��޹�˾,131729320061,1119.0

解决中文乱码读取：

    val spark = SparkSession.builder().master("local").appName("rank").getOrCreate()val sc: SparkContext = spark.sparkContextsc.setLogLevel("error")spark.read.option("header", false).option("encoding","gbk").option("delimiter", ",").csv("/Users/limengdong/Documents/日志数据分析/20220215134411.csv").head(3).foreach(println)

输出结果：

[ord_complete_tm,user_log_acct,corp_name,parent_sale_ord_id,amount]
[2021-01,联通,联通,131729,1119.0]
[2021-01,联通,联通,132049,19.0]

解决scala_spark本地读取csv中文乱码问题相关推荐

解决Spring项目读取配置文件中文乱码问题
解决Spring项目读取配置文件中文乱码问题 properties配置文件读取时中文乱码,错误如下: 解决方法如下: **1.**打开IDEA的设置项,进入Editor->File encodi ...
Mysql 导入导出csv 中文乱码问题的解决方法
导出csv: select t1.stid,t1.cateNodeId,t2.name,t1.name from (select p.stid,p.cateNodeId,r.name from Res ...
mysqlcsv导入中文乱码_Mysql 导入导出csv 中文乱码问题的解决方法
导入csv: 复制代码代码如下: load data infile '/test.csv' into table table_name fields terminated by ',' optio ...
SpringBoot使用@Value读取.properties中文乱码及解决方法
问题重现某不知名springboot小项目,application.properties文件: custom.param=中文属性值 java代码: @SpringBootApplication p ...
csv导入mysql乱码问题,Mysql导入导出csv中文乱码问题的解决方法_MySQL
bitsCN.com 导入csv: load data infile '/test.csv' into table table_name fields terminated by ',' option ...
java 读取csv文件乱码_java读取csv文件乱码怎么解决
csv文件默认编码为ANSI,java读取CSV出现乱码主要是编码不一致问题.(推荐:java视频教程)DataInputStream in = new DataInputStream(new Fil ...
excel 打开csv中文乱码
excel 打开csv中文乱码背景用linux跑数据,拉取csv文件,下载到本地windows,然后用excel发现中文乱码了解决办法在linux中更改文件编码,两种方式第一种,在打开的时候 ...
node.js读取文件中文乱码问题
node.js读取文件中文乱码问题出现乱码原因: 在windows中,默认的中文编码方式是根据系统的locale决定的,中文系统中的默认的编码方式为gb2312而不是utf-8 解决方法: 如果读取 ...
python读取中文文件乱码-详解Python的json文件读取及中文乱码显示问题解决方法...
Python的json文件读取及解决中文乱码显示问题本文实例讲述了Python实现的json文件读取及中文乱码显示问题解决方法.分享给大家供大家参考,具体如下: city.json文件的内容如下: ...

解决scala_spark本地读取csv中文乱码问题

解决scala_spark本地读取csv中文乱码问题相关推荐

最新文章

热门文章