Java启动sparksql,spark-sql启动的时候需要制定master吗?
spark-sql 启动时制定master
spark-sql --master spark://mater:7077 指定maser 相当于standalone模式
如果直接spark-sql 启动,spark-env.sh中配置了spark master的ip,此时不指定master也相当于standalone模式
spark-sql --master yarn-client 是以yarn客户端的模式去跑sql
但是如何让sql以yarn-cluster模式运行呢?
spark-sql --master yarn-cluster
spark-sql --master yarn --deploy-mode cluster
这两种方式启动是一样的,但是为什么报错呢?
17/01/04 13:03:59 INFO yarn.Client:
client token: N/A
diagnostics: Application application_1483257147443_0300 failed 2 times due to AM Container for appattempt_1483257147443_0300_000002 exited with exitCode: 1 due to: Exception from container-launch.
Container id: container_1483257147443_0300_02_000001
Exit code: 1
Stack trace: ExitCodeException exitCode=1:
at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)
at org.apache.hadoop.util.Shell.run(Shell.java:455)
at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)
at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)
at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)
at java.util.concurrent.FutureTask.run(FutureTask.java:262)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:745)
Container exited with a non-zero exit code 1
.Failing this attempt.. Failing the application.
ApplicationMaster host: N/A
ApplicationMaster RPC port: -1
queue: root.hadoop
start time: 1483506229770
final status: FAILED
tracking URL: http://cdhm1:8088/cluster/app/application_1483257147443_0300
user: hadoop
Exception in thread "main" org.apache.spark.SparkException: Application finished with failed status
at org.apache.spark.deploy.yarn.ClientBase$class.run(ClientBase.scala:509)
at org.apache.spark.deploy.yarn.Client.run(Client.scala:35)
at org.apache.spark.deploy.yarn.Client$.main(Client.scala:139)
at org.apache.spark.deploy.yarn.Client.main(Client.scala)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358)
at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)
at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)
求大神指导
Java启动sparksql,spark-sql启动的时候需要制定master吗?相关推荐
- spark sql 上个月_Spark学习之路 (十八)SparkSQL简单使用
一.SparkSQL的进化之路 1.0以前: Shark 1.1.x开始: SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: S ...
- spark sql自定义UDF函数-java语言
背景说明 基于spark sql开发过程中,需要一些类似与官网提供的 int().from_json()等自定函数处理数据.下属将简单讲解通过java如何实现spark sql自定义函数 官方UDF接 ...
- Spark SQL 核心编程
文章目录 Spark SQL 核心编程 1.新的起点 2.SQL 语法 1) 读取 json 文件创建 DataFrame 2) 对 DataFrame 创建一个临时表 3) 通过SQL语句实现查询全 ...
- Spark SQL与外部数据源的操作(Spark SQL ——> CSV/JSON/Parquet/hive/mysql)
目录 一.Spark SQL支持的外部数据源 二.Spark SQL -> CSV 2.1 读CSV文件 a.有列名 b.无列名 2.2 写CSV文件 三.Spark SQL -> JSO ...
- Linux环境下 java程序提交spark任务到Yarn报错
文章目录 摘要 情况1:JSON解析异常 情况2:java.lang.InstantiationException spark.sql.driver 情况3: 中kafka:java.lang.NoC ...
- Spark SQL操作外部数据源
目录 一.Spark SQL支持的外部数据源 二.Spark SQL -> CSV 2.1 读CSV文件 a.有列名 b.无列名 2.2 写CSV文件 三.Spark SQL -> JSO ...
- Spark SQL连接外部数据源
一.Spark SQL支持的外部数据源 Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现Spark SQL可以 加载任何地方的数据,例如mysql,hive,hdfs,hbase ...
- spark基础之Spark SQL和Hive的集成以及ThriftServer配置
如果希望Maven编译Spark时支持Hive,需要给定-Phive -Phive-thriftserver.比如比如:mvn -Pyarn -Phadoop-2.6 -Dhadoop.version ...
- spark SQL读取ORC文件从Driver启动到开始执行Task(或stage)间隔时间太长(计算Partition时间太长)且产出orc单个文件中stripe个数太多问题解决方案...
1.背景: 控制上游文件个数每天7000个,每个文件大小小于256M,50亿条+,orc格式.查看每个文件的stripe个数,500个左右,查询命令:hdfs fsck viewfs://hadoop ...
- Spark入门(六)Spark SQL shell启动方式(元数据存储在mysql)
一.hive配置文件 在spak/conf目录添加hive-site.xml配置,设置mysql作为元数据存储的数据库 <?xml version="1.0" encodin ...
最新文章
- elasticsearch从入门到出门-01windows上安装使用
- Lua 5.1.1 源代码阅读笔记
- TIN与DEM的区别和联系
- 精通Python网络爬虫:核心技术、框架与项目实战.3.2 爬行策略
- 世界之窗浏览器 v 3.6.1.0 [官方最新版]
- RxSwift 5官方Demo调试和学习资源
- 北京理工大学c语言课后答案,《北京理工大学C语言教材习题答案》.doc
- 斐讯K1、K2、K2P 刷机、刷入Breed 辅助工具
- 移动端Web组件-Dialog对话框
- APEX 压枪练习记录
- 万里汇WorldFirst支持从PayPal提现美元(实战教程)
- 入侵检测系统原理和实现
- PS钢笔工具使用方法简介
- Reflection in Java
- List接口(ArrayList集合和LinkedList集合)
- word实用技巧--学一个记一个
- Java游戏运行框架
- Java 阿里云实人认证
- 门店定位怎么在地图上显示_怎样让自己的店地理位置显示在高德地图上
- python实验大纲_Python程序设计实验-教学大纲-段震
热门文章
- android短信安全,基于Android短信服务的手机安全监控系统的设计与实现
- oracle rac vip不通,Oracle RAC 中vip网关引起错误的解决
- Javascript:利用闭包封装模块
- linux进程管理概念,Linux教程之进程的概念和进程管理命令的使用
- 诚毅学院的计算机专业,诚毅学院计算机专业JAVA题目
- apache commons Java包简介
- 关于各种服务器在境外的软件安装缓慢的问题解决方法
- 多尺度:传统高斯金字塔,拉普拉斯金字塔及SIFT算法多尺度金字塔
- opencv视频转图片并保存到文件夹下
- 3D目标检测论文汇总