我是火花的新手 . 我想删除一行使用spark sql.due来删除temptable中的不兼容性到目前为止我已经读过,操作删除像sql查询我需要永久保存pyspark中的表,这是hive表我猜 . 我也这样做了代码是

spark.sql("select b.ENTITYID as ENTITYID, cm.BLDGID as BldgID,cm.LEASID as LeaseID,coalesce(l.SUITID,(select EmptyDefault from EmptyDefault)) as SuiteID,(select CurrDate from CurrDate) as TxnDate,cm.INCCAT as IncomeCat,'??' as SourceCode,(Select CurrPeriod from CurrPeriod)as Period,coalesce(case when cm.DEPARTMENT ='@' then 'null' else cm.DEPARTMENT end, null) as Dept,'Lease' as ActualProjected ,fnGetChargeInd(cm.EFFDATE,cm.FRQUENCY,cm.BEGMONTH,(select CurrPeriod from CurrPeriod))*coalesce (cm.AMOUNT,0) as ChargeAmt,0 as OpenAmt,cm.CURRCODE as CurrencyCode,case when ('PERIOD.DATACLSD') is null then 'Open' else 'Closed' end as GLClosedStatus,'Unposted'as GLPostedStatus ,'Unpaid' as PaidStatus,cm.FRQUENCY as Frequency,0 as RetroPD from CMRECC cm join BLDG b on cm.BLDGID =b.BLDGID join LEAS l on cm.BLDGID =l.BLDGID and cm.LEASID =l.LEASID and (l.VACATE is null or l.VACATE >= ('select CurrDate from CurrDate')) and (l.EXPIR >= ('select CurrDate from CurrDate') or l.EXPIR < ('select RunDate from RunDate')) left outer join PERIOD on b.ENTITYID = PERIOD.ENTITYID and ('select CurrPeriod from CurrPeriod')=PERIOD.PERIOD where ('select CurrDate from CurrDate')>=cm.EFFDATE and (select CurrDate from CurrDate) <= coalesce(cm.EFFDATE,cast(date_add(( select min(cm2.EFFDATE) from CMRECC cm2 where cm2.BLDGID = cm.BLDGID and cm2.LEASID = cm.LEASID and cm2.INCCAT = cm.INCCAT and 'cm2.EFFDATE' > 'cm.EFFDATE'),-1) as timestamp) ,case when l.EXPIR

之后我在我的pyspark有一张永久牌桌

接下来我查询了删除操作

spark.sql("DELETE from Fact_Temp1 where ActualProjected='Lease' and ChargAmt=0").show()

我有这个错误

pyspark.sql.utils.ParseException: u"\nOperation not allowed: DELETE from(line 1, pos 0)\n\n== SQL ==\nDELETE from Fact_Temp1 where ActualProjected='Lease'and ChargeAmt=0\n^^^\n"

我有点困惑 . 有什么不同的方式来写这个 . 我不知道为什么我得到这个错误 . 请指导我,我使用spark 2.0 kalyan

pyspark 条件_删除pyspark中特定条件下的特定行相关推荐

  1. pandas使用dropna函数删除dataframe中所有包含缺失值的数据行(drop rows which contain missing vlaues in dataframe)

    pandas使用dropna函数删除dataframe中所有包含缺失值的数据行(drop rows which contain missing vlaues in dataframe) 目录

  2. winform代码:关联窗体数据更新,删除dataGridview中选中的一行或多行

    一.关联窗体数据更新 关联窗体数据修改时,如果一个为总体数据显示窗体A,另一个为详细修改窗体B,从A进入B,在B中对数据进行修改,然后返回A,这时A窗体的数据需要更新. 我采用最简单的方法,首先保证每 ...

  3. java web 默认页面配置文件_Tomcat中配置全局的错误页面(如404)+删除Tomcat中webapps目录下的自带项目,防止Tomcat默认文件泄露...

    进入tomcat目录中conf文件编辑web.xml,将下面代码复制到文件末尾,如下 400 /error.html 404 /404/404.html 500 /404/500.html 2.添加4 ...

  4. inner join on 加条件和where加条件_图解 SQL 中各种连接 JOIN

    先用文字来捋一下思路,数据库操作中无非就是「 增删查改 」,其中「 查」用得最多且最复杂,变化多端.查询的时候,我们可以只是单表查询,也可以是多表连接查询,单表查询中的学问也很大,但限于篇幅,本次主要 ...

  5. c语言条件语句示例_PHP中的条件语句和示例

    c语言条件语句示例 PHP条件语句 (PHP Conditional Statements) While coding, you may get to a point where your resul ...

  6. if test 多条件_五条写好JavaScript条件语句的建议(译)

    1. 多重准则时使用 Array.includes 看个栗子: function test(fruit) {if (fruit == 'apple' || fruit == 'strawberry') ...

  7. mysql 查询总数时条件_SQL查询数据库中符合条件的记录的总数

    1. select count(*) from table; //统计元组个数 2. select count(列名) from table; //统计一列中值的个数 3. select count( ...

  8. python实现链表的删除_删除链表中的元素,但是只能使用一个指针

    先用使用常规方法,两个指针: golang实现: type Node struct {value intnext *Node}type Link struct {head *Nodetail *Nod ...

  9. python删除字符串中重复字符_删除字符串中重复字符python 用CAD怎么画DNA反向

    用CAD怎么画DNA反向平行双螺旋结构绘螺旋线时,用选扭曲,确定顺时针. 画双头螺旋线时,第二根螺旋线底圆起点与第一根螺旋线底圆起点,可用角度分隔如180°.python去除文本中重复的字符串可有可无 ...

最新文章

  1. 实践人生 —— 一个普通IT人的十年回顾(下)
  2. 荣幸参加 微软 Teched 2012 会议
  3. html实体编码_多视角学习 | 当自动编码器“遇上”自动编码网络
  4. android 万能倒计时,时分秒倒计时
  5. 前端图片有时候能显示有时候不显示_web前端基础教程:两种数据存储思路
  6. opencv 霍夫变换检测直线和圆
  7. java面向对象程序练习_5本面向经验丰富的程序员的高级Java书籍
  8. Java中list==null与list.size( )==0的区别
  9. Intel酷睿前世今生(二)
  10. 怎么调用pda的打印机_win7系统如何更改打印机缓存文件夹 win7系统更改打印机缓存文件夹方法【介绍】...
  11. 垂直型与水平型电子商务网站的理解
  12. sql----DML ,TCL
  13. Adobe Premiere基础-时间重映射(十)
  14. 稻盛和夫经典著作----《心》读后感
  15. iOSButton文字和图片摆放的个字方式
  16. python标准差不用numpy_Python:Numpy标准差
  17. 计算机树的逻辑结构,树结构(示例代码)
  18. soul-网关实战(二)如何成为了Soul的贡献者
  19. 简单的身份证号码,全面填写,可以比较年份、月份、天数(初学者学习可以看看)
  20. 使用Python:XPath提取猫眼电影

热门文章

  1. mysql怎么查找删除重复数据_Mysql中如何查找并删除重复数据
  2. c++时间片轮转rr进程调度算法_「学习笔记」时间片轮转(RR)调度算法(详解版)...
  3. java贪心算法几个经典例子_经典算法思想5——贪心(greedy algorithm)
  4. jfreechart柱状图java mysql_时序时空数据库MySQL再升级,兼容MySQL协议
  5. 音频的相MATLAB,音频处理后频率响应和相位响应问题
  6. windows下设置PHP环境变量
  7. 本机tomcat的server.xml被还原的问题及解决办法
  8. ASP.NET的几个试题(《C#与.NET程序员面试宝典》)
  9. IOS开发学习笔记-----UILabel 详解
  10. 我的2008,专注而行