Rdd没法调用toDF原因

创建rdd方法1//use case class Person
case class Person(name:String,age:Int)
def rddToDFCase(sparkSession : SparkSession):DataFrame = {
//导入隐饰操作，否则RDD无法调用toDF方法
import sparkSession.implicits._
val peopleRDD = sparkSession.sparkContext
.textFile("file:/E:/scala_workspace/z_spark_study/people.txt",2)
.map( x => x.split(",")).map( x => Person(x(0),x(1).trim().toInt)).toDF()
peopleRDD
}

创建rdd方法2：

def rddToDF(sparkSession : SparkSession):DataFrame = {
//设置schema结构
val schema = StructType(
Seq(
StructField("name",StringType,true)
,StructField("age",IntegerType,true)
)
)
val rowRDD = sparkSession.sparkContext
.textFile("file:/E:/scala_workspace/z_spark_study/people.txt",2)
.map( x => x.split(",")).map( x => Row(x(0),x(1).trim().toInt))
sparkSession.createDataFrame(rowRDD,schema)
}

Rdd没法调用toDF原因相关推荐

python安装成功第三方库但import出问题_为什么会在pyspark在RDD中调用python第三方库失败？...
问题描述 Hi, 我在公司线上运行pyspark时调用jieba分词, 发现可以成功import, 但是在RDD中调用分词函数时却提示没有 module jieba, 在本地虚拟机时没有这些问题问题 ...
Android世界时钟-时间1970-1-1 0:0无法设置的代码调用和原因
时间1970-1-1 0:0无法设置的代码调用和原因根因:时间设置从01:01起始,而非00:00起始 1. 从界面布局定位到时间设置DateTimeSettings.java packages/a ...
计算机打开怎么没有桌面二字,电脑没法打字什么原因
电脑没法打字什么原因我们使用电脑的时候会遇到打不了字,输入法不见了等等问题,那么出现这种问题的原因是什么呢?下面就和小编一起看看怎么回事吧. 问:电脑不能打字了.输入法不见了怎么办? 答:桌面任务栏 ...
计算机无法识别华为m3,华为平板M3青春版10.1英寸平板电脑没法充电的原因是什么_华为平板电脑没法充电故障分析...
华为平板 M3青春版10.1英寸平板电脑没法充电原因确认说明:华为平板平板电脑没法充电怎么解决.这个在华为平板平板电脑上面提出有些年头了,自从有了电池保护壳,让华为平板平板电脑能够给平板平板电脑或是其 ...
Chrome谷歌浏览器无法调用摄像头原因及解决办法
谷歌浏览器只支持https, 127.0.0.1,localhost三种地址方式调用摄像头,http方式不支持直接调用. 解决方法:步骤1.在地址栏输入chrome://flags/ 步骤2.搜索找到 ...
Pycharm下同一目录的py文件不能相互调用的原因分析
1.首先确保所在目录是Python Package而不是一般的New Stratch File Python Package下有__init___.py或自己建空的__init___.py 2.pyc ...
怎么用计算机属性打开文件,电脑桌面上的文件打开的时候都是显示属性没法打开了解原因所在...
1.电脑桌面图标双击打开显示的都是属性的原因可有可能是键盘上的功能没有完全弹出,而产生的一个键盘"被按下"造成的.所以在双击程序时会默认显示为属性页面. 2.双击桌面图标或文件,打 ...
【令牌不能为空】接口无法调用的原因分析
这是从网关请求转发的,所以无法直接调用
微软 Edge 浏览器无法调用麦克风原因及解决办法
非 https 安全网址无法直接通过浏览器获取电脑硬件的访问权限,如:麦克风.摄像头等:需要手动将对应网址设置为安全的域名网址. 以 Edge 浏览器,http://192.168.1.100:808 ...

Rdd没法调用toDF原因

Rdd没法调用toDF原因相关推荐

最新文章

热门文章