spark读csv文件转成map

代码

import scala.collection.mutable
scala> val a=spark.read.csv("/user/flink/qinghua/myconf.txt").rdd.map(x=> x.getString(0)->x.getString(1)).collectAsMap()
a: scala.collection.Map[String,String] = Map(date -> 20220103, name -> haha)    scala> a("date")
res13: String = 20220103

csv形式
date,20200202
name,lqh
key value格式

spark读csv文件转成map相关推荐

Spark读CSV文件
spark可以自动csv文件判断字符类型原文件内容如下: parent_order_no,member_id,union_id,create_time,create_date TW168E93658 ...
【Antlr】Antlr 将 CSV文件转成Map数据结构
1.概述数据如下 Details,Month,Amount Mid Bonus,June,"$2,000" ,January,"""zippo&qu ...
spark解析csv文件_Spark：解析CSV文件并按列值分组
spark解析csv文件我发现自己经常使用大型CSV文件,并且意识到我现有的工具集不能让我快速浏览它们,我以为我会花一些时间在Spark上看看是否有帮助. 我正在使用芝加哥市发布的犯罪数据集 :它的 ...
pandas 读csv文件 TypeError: Empty 'DataFrame': no numeric data to plot
简单的代码,利用pandas模块读csv数据文件,这里有两种方式,一种是被新版本pandas遗弃的Series.from_csv:另一种就是pandas.read_csv 先说一下问题这个问题就是在读 ...
python文件写入字典格式输出_Python把对应格式的csv文件转换成字典类型存储脚本的方法...
该脚本是为了结合之前的编写的脚本,来实现数据的比对模块,实现数据的自动化!由于数据格式是定死的,该代码只做参考,有什么问题可以私信我! CSV的数据格式截图如下: readDataToDic.py源代 ...
python为csv文件添加表头_python读csv文件时指定行为表头或无表头的方法
python读csv文件时指定行为表头或无表头的方法 pd.read_csv()方法中header参数,默认为0,标签为0(即第1行)的行为表头.若设置为-1,则无表头.示例如下: (1)不设置hea ...
Spark 读取CSV文件为RDD
Spark 读取CSV文件为RDD 1 准备数据在开始之前,假设我们在文件夹"c:/tmp/files"中有以下带有逗号分隔文件内容的 CSV 文件名,我使用这些文件来演示示例. ...
Spark 读取csv文件quote配置无效
在进行数据清洗时,使用spark 读取csv文件时,遭遇到数据列中存在 \n的字符原始数据: names "小红\n小明" 解析后数据: index names 1 小红 2 小 ...
python csv读取数据去掉标题-Python读csv文件去掉一列后再写入新的文件实例
用了两种方式解决该问题,都是网上现有的解决方案. 场景说明: 有一个数据文件,以文本方式保存,现在有三列user_id,plan_id,mobile_id.目标是得到新文件只有mobile_id,pl ...

spark读csv文件转成map

spark读csv文件转成map相关推荐

最新文章

热门文章