error: not found: value sc

【问题】

解压spark的tar包后，执行bin/spark-shell，执行val lines=sc.textFile("README.md")时，抛错error: not found: value sc

【解决办法】

这是因为shell启动时没有初始化sparkContext，修改conf/spark-env.sh文件，添加如下内容：

export SPARK_LOCAL_IP="10.10.20.204"

注意：

1、不要使用0.0.0.0，这样运行spark自带的example时，spark无法连接0.0.0.0这个IP取下载example的代码。

2、不要使用127.0.0.1，这样不能在其他机器上访问spark ui。

再次启动bin/spark-shell，这是会看到如下信息，代表spark context已经被初始化了，现在可以正常执行命令了。

Spark context Web UI available at http://10.10.20.204:4040
Spark context available as 'sc' (master = local[*], app id = local-1477366425671).
Spark session available as 'spark'.

转载于:https://www.cnblogs.com/puroc/p/5996145.html

error: not found: value sc相关推荐

spark安装测试过程中提示console:10: error: not found: value sc
终于要安装心心念念的spark了,安装过程参考的<深入理解spark-核心思想与源码分析>一书,但是在测试spark是否安装成功时,老是提示这样的错误: 在网上查资料,说是在spark配置 ...
Spark累加器(Accumulator)陷阱及解决办法
Accumulator简介 Accumulator是spark提供的累加器,顾名思义,该变量只能够增加. 只有driver能获取到Accumulator的值(使用value方法),Task只能对其做增 ...
Spark MLlib 机器学习
本章导读机器学习(machine learning, ML)是一门涉及概率论.统计学.逼近论.凸分析.算法复杂度理论等多领域的交叉学科.ML专注于研究计算机模拟或实现人类的学习行为,以获取新知识.新 ...
Spark _10_补充部分算子【三】
补充算子 transformations mapPartitionWithIndex 类似于mapPartitions,除此之外还会携带分区的索引值. repartition 增加或减少分区.会产生s ...
Spark _03RDD_Transformations_Action_使用scalajavaAPI
Scala API Transformations转换算子&Action行动算子 [友情提示]代码页,请从下往上看. package ddd.henu.transformationsimpo ...
扇区修复 linux,linux – 如何使用hdparm来修复挂起的扇区？
SMART正在说明我服务器硬盘上的一个待处理扇区.我已经阅读了许多文章,建议使用hdparm"轻松"强制磁盘重新定位坏扇区,但我找不到正确的方法来使用它. 我的"smar ...
java的for循环取出数据只是拿到最后一个_从MySQL中导数据到HBase
前言这个问题在网上已经一搜一大把了,为什么要自己亲手总结一下仅仅是因为最近自己公司新上了HBase然后使用Spark去读取MySQL的数据写入HBase的时候遇到了一些问题,也困扰了挺久现在就详细 ...
如何解决“指定的服务已被标记为删除”错误
本文翻译自:How to solve "The specified service has been marked for deletion" error I try to rem ...
【图文教程】MySQL
MySQL 1. MySQL介绍 2. MySQL安装 3. 设置更改 MySQL root 密码 4. 连接MySQL 5. MySQL常用命令 6. MySQL用户管理以及授权 7. 常用SQL语 ...
grpc系列：负载均衡及grpc负载均衡相关整理
一.负载均衡负载均衡(LB)在微服务架构演进中具有非常重要的意义,负载均衡是高可用网络基础架构的关键组件,我们的期望是调用是平均分配在所有的服务器服务器上的,通常用于将工作负载分布到多个服务器来提高 ...

error: not found: value sc

error: not found: value sc相关推荐

最新文章

热门文章