SparkSQL统一数据的加载与落地

spark sql加载

object FieldDemo extends App {private val session: SparkSession = SparkSession.builder().appName("test").master("local").getOrCreate()//private val frame: DataFrame = session.read.load("./data/emp.json")//private val frame: DataFrame = session.read.format("json").load("./data/emp.json")//读取csv文件,还可以读取表头,指定分隔符//private val frame: DataFrame = session.read.format("csv").option("seq", ";").option("header", value = true).load("x")//private val frame: DataFrame = session.read.format("orc").load("./data/sql/student.orc")val prop = new Properties()prop.setProperty("user", "root")prop.setProperty("password", "123456")//读取mysql中的数据private val frame: DataFrame = session.read.jdbc("jdbc:mysql://localhost:3306/db2", "emp", prop)frame.show()
}

spark sql落地

object SaveDemo extends App {private val session: SparkSession = SparkSession.builder().appName("test").master("local").getOrCreate()private val frame: DataFrame = session.read.json("./data/emp.json")//形参为目录.默认写出的格式为parquet//frame.write.save("data/dir1")//指定写出的格式//frame.write.format("json").save("data/dir2")//csv格式可以将表头写到第一行.frame.write.format("csv").save("data/dir3")frame.write.format("orc").save("data/dir4")frame.write.format("text").save("data/dir5")//可以保存到数据库中val prop = new Properties()prop.setProperty("user", "root")prop.setProperty("password", "123456")/*可以指定保存模式SaveMode.AppendSaveMode.ErrorIfExists 默认的,已有的表会报错SaveMode.Ignore  如果数据存在,就不保存df的数据SaveMode.Overwrite 删除原有表重新建立*/frame.write.mode(SaveMode.Append).jdbc("jdbc:mysql://localhost:3306/db2", "emp2", prop)}

SparkSQL统一数据的加载与落地相关推荐

js如何将数据放在一个内置窗口里面_Java 爬虫遇上数据异步加载，试试这两种办法！...
这是 Java 爬虫系列博文的第三篇,在上一篇 Java 爬虫遇到需要登录的网站,该怎么办? 中,我们简单的讲解了爬虫时遇到登录问题的解决办法,在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题 ...
JS实现-页面数据无限加载
在手机端浏览网页时,经常使用一个功能,当我们浏览京东或者淘宝时,页面滑动到底部,我们看到数据自动加载到列表.之前并不知道这些功能是怎么实现的,于是自己在PC浏览器上模拟实现这样的功能.先看看浏览效果: ...
java 爬虫异步_Java 爬虫遇上数据异步加载，试试这两种办法！
这是 Java 爬虫系列博文的第三篇,在上一篇 Java 爬虫遇到需要登录的网站,该怎么办? 中,我们简单的讲解了爬虫时遇到登录问题的解决办法,在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题 ...
oracle分区交换速度,oracle交换分区对数据的加载提速案例
author:skate time:2012/07/16 oracle交换分区对数据的加载提速案例环境: os:linux db:oracle10g 其中一个库的数据加载非常慢,如何能提高数据的加载 ...
Ionic+Angular+Express实现前后端交互使用HttpClient发送get请求数据并加载显示(附代码下载)
场景 Ionic介绍以及搭建环境.新建和运行项目: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/106308166 在上面搭建起 ...
mint-ui 中 Infinite scroll 在tab-container中使用数据全部加载的问题
项目中用到了Infinite scroll 这个组件,但是初始化的时候,getList总会请求两次, 网上查了部分资料,如 <ul class="mui-table-view &quo ...
JAVA异步爬虫_Java 爬虫遇上数据异步加载，试试这两种办法！
这是 Java 爬虫系列博文的第三篇,在上一篇 Java 爬虫遇到需要登录的网站,该怎么办? 中,我们简单的讲解了爬虫时遇到登录问题的解决办法,在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题 ...
python观察日志(part28)--数据的加载与存储
学习笔记,仅供参考,有错必究参考文献:编码问题:UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb3 in position; 数据的加载 ...
recyclerview的数据刷新（下拉刷新和自动加载更多）以及添加提示语（例如：“数据已加载完毕”）
下拉加载更多的核心是SwipeRefreshLayout搭配Recyclerview进行使用.布局为 <android.support.v4.widget.SwipeRefreshLayout ...

SparkSQL统一数据的加载与落地

spark sql加载

spark sql落地

SparkSQL统一数据的加载与落地相关推荐

最新文章

热门文章