spark读取excel表格

参考资料：https://blog.csdn.net/qq_38689769/article/details/79471332

参考资料：https://blog.csdn.net/Dr_Guo/article/details/77374403?locationNum=9&fps=1

pom.xml:

  <!--读取excel文件--><dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId><version>3.10-FINAL</version></dependency><dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version>3.10-FINAL</version></dependency>

数据：

代码：


import java.io.FileInputStreamimport com.emg.join.model.{AA, BB}
import org.apache.poi.ss.usermodel.Cell
import org.apache.poi.xssf.usermodel.XSSFWorkbook
import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSessionimport scala.collection.mutable.ListBufferobject Excels {val conf = new SparkConf().setAppName("join").set("spark.serializer", "org.apache.spark.serializer.KryoSerializer").setMaster("local[*]").registerKryoClasses(Array[Class[_]](AA.getClass, BB.getClass))val spark = SparkSession.builder().config(conf).getOrCreate()val sc = spark.sparkContextimport spark.implicits._val filePath = "c:\\user\\id.xlsx"
//val filePath1 = "hdfs://192.168.40.0:9000/user/id.xlsx"val fs = new FileInputStream(filePath)val workbook: XSSFWorkbook = new XSSFWorkbook(fs)val sheet = workbook.getSheetAt(0) //获取第一个sheetval rowCount = sheet.getPhysicalNumberOfRows() //获取总行数val data = new ListBuffer[BB]()for (i <- 1 until rowCount) {val row = sheet.getRow(i)// 得到第一列第一行的单元格val cellwellname: Cell = row.getCell(0)//同一字段不同数据类型处理var wellname = 0Lif (cellwellname.getCellType == 0) {wellname = cellwellname.getNumericCellValue.toLong}data.+=(BB(wellname))data}val data1 = spark.createDataset(data)data1.createTempView("data1")val result = spark.sql("select * from data1").coalesce(1)result.rdd.saveAsTextFile(outPath)}

注意：

当路径为本地的时候，运行好使。当路径为hdfs时，报错找不到路径，会出现转义符问题，查了查资料还是没能解决！

有解决方法记得回复哈。

spark读取excel表格相关推荐

如何读取Excel表格中不同sheet表的同一位置单元格数据，并绘制条形图呢？
作者 | 黄伟呢来源 | 数据分析与统计学之美今天,有位朋友在群里面咨询了一个问题:如何读取Excel表格中"不同sheet表"的同一位置单元格数据,并绘制条形图呢? 有人提议 ...
python读取excel表格-python读取excel表格中的数据
使用python语言实现Excel 表格中的数据读取,需要用到xlrd.py模块,实现程序如下: import xlrd #导入xlrd模块 class ExcelData(): def __init ...
python画柱状图和折线图-Python读取Excel表格,并同时画折线图和柱状图的方法
今日给大家分享一个Python读取Excel表格,同时采用表格中的数值画图柱状图和折线图,这里只需要几行代码便可以实. 首先我们需要安装一个Excel操作的库xlrd,这个很简单,在安装Python后 ...
python3读取excel数据-python3读取Excel表格数据的代码分享
python3 读取Excel表格中的数据需要先安装openpyxl库通过pip命令安装: pip install openpyxl 源码如下: #!/usr/bin/python3 #-*- c ...
python3读取excel数据-python3 读取Excel表格中的数据
需要先安装openpyxl库通过pip命令安装: pip install openpyxl 源码如下: #!/usr/bin/python3 #-*- coding:utf-8 -*- import ...
.读取excel表格（JAVA）
读取excel表格(JAVA) 偶尔写个小程序,让办公更简单一些. 在这里使用到JXL(Java Excel API)用来动态读写Excel文件.JXL的主页是:http://www.andykh ...
android 自动读取ecxel_android 读取excel表格数据，并存入数据库
最近策划提了个需求,但是已有的数据不能满足需要,于是内容资源部制作了份excel表格补充.So,任务来了,读取并使用excel数据.由于感觉excel表格里的数据使用频率较高,那么就不能等到需要了才去 ...
python导入数据画折线图_Python读取Excel表格,并同时画折线图和柱状图的方法
今日给大家分享一个Python读取Excel表格,同时采用表格中的数值画图柱状图和折线图,这里只需要几行代码便可以实. 首先我们需要安装一个Excel操作的库xlrd,这个很简单,在安装Python后 ...
JAVA读取Excel表格，建数据库建表，并生成java实体实例
转自:https://blog.csdn.net/wuyongde_0922/article/details/43233413 JAVA读取Excel表格,建数据库建表,并生成java实体实例,这一篇 ...

spark读取excel表格

pom.xml:

数据：

代码：

注意：

spark读取excel表格相关推荐

最新文章

热门文章