java怎么把程序写入持久化_如何将DataFrame持久化到Hive表？

我在Cloudera QuickStart VM上使用CentOS . 我按照另一个问题How to save DataFrame directly to Hive?创建了一个受sbt管理的Spark应用程序 .

build.sbt

libraryDependencies += "org.apache.spark" %% "spark-core" % "1.5.2"

libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.5.2"

libraryDependencies += "org.apache.spark" % "spark-mllib_2.10" % "1.5.2"

libraryDependencies += "org.apache.spark" % "spark-streaming_2.10" % "1.5.2"

libraryDependencies += "org.apache.spark" %% "spark-hive" % "1.5.2"

我想将DataFrame用作Hive表，如下所示：

recordDF.registerTempTable("mytempTable")

hiveContext.sql("create table productstore as select * from mytempTable");

我注意到我收到错误：

root scratch目录：/ tmp / hive应该是可写的 . 目前的权限是：rwx ------

我按照其他问题设置 chmod 777 为HDFS中的 /tmp/hive .

我突然想到使用本地文件系统/ tmp / hive的火花 .

我为本地文件系统做了一个chmod .

现在我收到了错误

org.apache.hadoop.hive.ql.metadata.HiveException：MetaException(消息：文件：/ user / hive / warehouse / productstore不是目录或无法创建目录)

我想在HDFS配置单元仓库中存储DataFrame .

java怎么把程序写入持久化_如何将DataFrame持久化到Hive表？相关推荐

记录程序写入日志_终于有人把MySQL 三大日志讲清楚了
点击上方"蓝字",关注了解更多日志是 mysql 数据库的重要组成部分,记录着数据库运行期间各种状态信息.mysql日志主要包括错误日志.查询日志.慢查询日志.事务日志.二进制日 ...
java客户服务器程序预约口罩_团队作业（二）：Github实训：口罩预约
这个作业要求在哪里这个作业的目标使用Github进行团队协作其他参考文献 <构建之法> Part 1 关于此次作业 (1)组员职责分工 221701436:组织小组参与讨论分工,测试 ...
为什么java下载安装程序很慢_【关注】微信小程序开发和APP开发的10种区别！
在移动互联网大火的时代,APP和微信小程序已经成为了企业从移动端获取用户流量,实现盈利的重要端口. 因为微信小程序体积小,操作方便,省去了下载安装这一操作,导致这两年微信小程序的势头是越来越猛,甚至有 ...
java session 持久化_自定义实现session持久化
自定义实现session持久化使用场景对于有登录校验的网站,tomcat 重启之后,刷新页面又得重新登录,影响用户体验. 原因: tomcat 的session 在内存中,tomcat重启之后,内 ...
java校院导游程序课程设计_数据结构课程设计之校园导游系统
数据结构课程设计之校园导游系统放假到现在终于安下心来要搞点学习了,现在对放假前一周的数据结构课设做一个总结,快放假的时候搞数据结构课设,当时满脑子都是期末考试忙着复习,根本没啥心思去做.所以课设一共 ...
java校院导游程序课程设计_校园导游系统数据结构课程设计(有源程序)
内容介绍原文档由会员莎士比亚发布论文标准WORD格式排版附源程序海南大学校园导游系统一. 意义此程序可以作为庞大的旅游信息查询系统的一个子程序. 二. 程序设计思想 1．从海南大学的 ...
java微信小程序支付退款_微信小程序-微信自动退款(Java后台)
packagecom.bodi.repository;importjava.security.MessageDigest;public classMD5Util {/*** 十六进制下数字到字符的映射 ...
java简单小程序加翻译_一个翻译小程序（带一点点抒情）
博客园里有几篇关于父亲节的文章?什么狗屁的父亲节母亲节,为什么不去想想让父母天天像过节一样,为什么只有到了外国人的父亲节,母亲节才想起有个爸妈,除此在外boss比爹还亲呢. 很多人把时间都用在了自己的 ...
python消息队列框架持久化_消息队列如果持久化到数据库的话，相对于直接操作数据库有啥优势？...
MQ的作用很多,典型作用: 1.削峰填谷:如果短时间内要处理的业务量大于数据库的服务能力,则可能会卡死数据库:使用MQ可以慢慢处理. 2.异步化:如果处理的工作非常耗时,则RPC的请求一直halt,对 ...
java数据结构红黑树上旋下旋_存储系统的基本数据结构之一: 跳表 (SkipList)
在接下来的系列文章中,我们将介绍一系列应用于存储以及IO子系统的数据结构.这些数据结构相互关联又有着巨大的区别,希望我们能够不辱使命的将他们分门别类的介绍清楚.本文为第一节,介绍一个简单而又有用的数据 ...

java怎么把程序写入持久化_如何将DataFrame持久化到Hive表？

java怎么把程序写入持久化_如何将DataFrame持久化到Hive表？相关推荐

最新文章

热门文章