编译如下代码时,出现value toDF is not a member of org.apache.Spark.rdd.RDD[People] 错误

val rdd : RDD[People]= sparkSession.sparkContext.textFile(hdfsFile,2).map(line => line.split(",")).map(arr => People(arr(0),arr(1).trim.toInt))

rdd.toDF

参考http://stackoverflow.com/questions/33704831/value-todf-is-not-a-member-of-org-apache-spark-rdd-rdd,针对此错误有人提出需要做到以下两点

  1. import sqlContext.implicits._ 语句需要放在获取sqlContext对象的语句之后

  2. case class People(name : String, age : Int) 的定义需要放在方法的作用域之外(即Java的成员变量位置)

实际上只需要做到第二点即可解决错误(第一点做到可能就不会报错了)

scala学习-Description Resource Path Location Type value toDF is not a member of org.apache.spark.rdd.R相关推荐

  1. Description Resource Path Location Type Java compiler level does not match the v

    2019独角兽企业重金招聘Python工程师标准>>> Description Resource Path Location Type Java compiler level doe ...

  2. Description Resource Path Location Type Java compiler level does not match the version of the instal

    问题:MyEclipse导入项目的时候,会发生这个错误:Description Resource Path Location Type Java compiler level does not mat ...

  3. import导入工程时出现error:Description Resource Path Location Type Target runtime com.genuitec.runtime.gener

    Myeclipse把一个workspace里的项目导入另一个workspace时,项目提示error: Description Resource Path Location Type Target r ...

  4. Description Resource Path Location Type Path must include project and resource name: /

    前言 eclipse 2019-12 (4.14.0) jdk 1.8 Apache Maven 3.6.1 spring boot 2.2.13.RELEASE 错误 Description Res ...

  5. Description Resource Path Location Type The project was not built since it depends on XXXX,

    1.Ecplise启动之后项目有小红X,     启动项目包错Description    Resource    Path    Location    Type The project was n ...

  6. Description Resource Path Location Type Java compiler level does not match the version of the instal

    出现以下错误 Description Resource Path Location Type Java compiler level does not match the version of the ...

  7. 解决 Description Resource Path Location Type Archive for required library

    问题描述 导入项目的时候,运行时出现了 Bug – 错误: 找不到或无法加载主类 xxxx 通过 eclipse 上的 Problem 描述 ,找到对应项目的 errors 描述发现错误描述为:Des ...

  8. eclipse项目里javascript总是验证,且出现最多的error是 Description Resource Path Location Type Syntax error on toke

    解决方法: 1.可能之前安装了JSHint,那先在eclipse->Help->Installation Details里面卸载(Uninstall...) 2.* Right Click ...

  9. Description Resource Path Location Type The import collides with another import statement

    新手一枚-还在学习寻找解决各种报错时候的方法--遇到导入包冲突编译不通过: 代码是贴过来的,所以最初编译报错,找到需要的包手动添加的时候报错是两个导入的包冲突. 上面的那个包是自动引入包的时候添加进来 ...

最新文章

  1. git commit如何修改默认编辑器为vim
  2. 区块链BaaS云服务(19)趣链“联邦计算BitXmesh”
  3. 奥鹏计算机基础18秋在线作业答案,18秋华师《计算机基础》在线作业1(标准答案).doc...
  4. nodejs操作sqlserver数据_nodejs基于mssql模块连接sqlserver数据库的简单封装操作示例...
  5. C 标准库 —— scanf(fflush(stdin))
  6. csrf防御 php,跨站请求伪造CSRF的防御实例(PHP版本)
  7. LINUX下载编译wabt(反编译wasm)
  8. navicat中文破解
  9. C程序的基本组成结构
  10. 马士兵servletjsp视频教程——第二部分jsp笔记及源代码、servlet和jsp的通信
  11. ios14描述文件无法与服务器连接,iOS14屏蔽更新描述文件已损坏,无法安装的解决办法...
  12. 关于我用iVX沉浸式体验了一把0代码创建电影院购票小程序这件事
  13. Ubuntu释放缓存/内存和显存
  14. 网站强制跳转到国家反诈中心如何解封
  15. 接口技术实验三、响铃程序
  16. 身价过亿的灵仙子说你IIC没写完也发?
  17. java计算机毕业设计基于springboo+vue的人事管理系统
  18. Qt MVD模型视图代理组件简介
  19. 2020低压电工复审模拟考试及低压电工作业模拟考试
  20. html插入自动循环背景音乐,HTML插入背景音乐方法【全】

热门文章

  1. 有没有跟新型肺炎确诊患者同乘车?百度可查!
  2. 华为回应P40石墨烯电池传闻:系谣言
  3. 美团推出语音应用平台 已与奔驰、小米等企业达成合作
  4. 索尼Xperia 5前置拍照斩获DxOMark得79分
  5. 阿里巴巴公布香港IPO定价:每股176港元
  6. 那些慢慢消失的手机功能,最怀念第一个!
  7. 下架77天后 小红书恢复上架安卓应用市场
  8. 2019中国手机品牌用户社交洞察报告:低价看配置 高价重颜值
  9. 逼疯上海人的垃圾分类满月了:羊肉串变羊肉吕,奶茶里珍珠按颗算...
  10. 先发不一定制人:美韩5G网络体验差遭吐槽