spark-sql 启动时制定master

spark-sql   --master  spark://mater:7077 指定maser 相当于standalone模式

如果直接spark-sql 启动,spark-env.sh中配置了spark master的ip,此时不指定master也相当于standalone模式

spark-sql  --master yarn-client 是以yarn客户端的模式去跑sql

但是如何让sql以yarn-cluster模式运行呢?

spark-sql  --master yarn-cluster

spark-sql  --master yarn --deploy-mode cluster

这两种方式启动是一样的,但是为什么报错呢?

17/01/04 13:03:59 INFO yarn.Client:

client token: N/A

diagnostics: Application application_1483257147443_0300 failed 2 times due to AM Container for appattempt_1483257147443_0300_000002 exited with exitCode: 1 due to: Exception from container-launch.

Container id: container_1483257147443_0300_02_000001

Exit code: 1

Stack trace: ExitCodeException exitCode=1:

at org.apache.hadoop.util.Shell.runCommand(Shell.java:538)

at org.apache.hadoop.util.Shell.run(Shell.java:455)

at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:702)

at org.apache.hadoop.yarn.server.nodemanager.DefaultContainerExecutor.launchContainer(DefaultContainerExecutor.java:197)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:299)

at org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch.call(ContainerLaunch.java:81)

at java.util.concurrent.FutureTask.run(FutureTask.java:262)

at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)

at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)

at java.lang.Thread.run(Thread.java:745)

Container exited with a non-zero exit code 1

.Failing this attempt.. Failing the application.

ApplicationMaster host: N/A

ApplicationMaster RPC port: -1

queue: root.hadoop

start time: 1483506229770

final status: FAILED

tracking URL: http://cdhm1:8088/cluster/app/application_1483257147443_0300

user: hadoop

Exception in thread "main" org.apache.spark.SparkException: Application finished with failed status

at org.apache.spark.deploy.yarn.ClientBase$class.run(ClientBase.scala:509)

at org.apache.spark.deploy.yarn.Client.run(Client.scala:35)

at org.apache.spark.deploy.yarn.Client$.main(Client.scala:139)

at org.apache.spark.deploy.yarn.Client.main(Client.scala)

at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)

at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

at java.lang.reflect.Method.invoke(Method.java:606)

at org.apache.spark.deploy.SparkSubmit$.launch(SparkSubmit.scala:358)

at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:75)

at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

求大神指导

Java启动sparksql,spark-sql启动的时候需要制定master吗?相关推荐

  1. spark sql 上个月_Spark学习之路 (十八)SparkSQL简单使用

    一.SparkSQL的进化之路 1.0以前: Shark 1.1.x开始: SparkSQL(只是测试性的)  SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: S ...

  2. spark sql自定义UDF函数-java语言

    背景说明 基于spark sql开发过程中,需要一些类似与官网提供的 int().from_json()等自定函数处理数据.下属将简单讲解通过java如何实现spark sql自定义函数 官方UDF接 ...

  3. Spark SQL 核心编程

    文章目录 Spark SQL 核心编程 1.新的起点 2.SQL 语法 1) 读取 json 文件创建 DataFrame 2) 对 DataFrame 创建一个临时表 3) 通过SQL语句实现查询全 ...

  4. Spark SQL与外部数据源的操作(Spark SQL ——> CSV/JSON/Parquet/hive/mysql)

    目录 一.Spark SQL支持的外部数据源 二.Spark SQL -> CSV 2.1 读CSV文件 a.有列名 b.无列名 2.2 写CSV文件 三.Spark SQL -> JSO ...

  5. Linux环境下 java程序提交spark任务到Yarn报错

    文章目录 摘要 情况1:JSON解析异常 情况2:java.lang.InstantiationException spark.sql.driver 情况3: 中kafka:java.lang.NoC ...

  6. Spark SQL操作外部数据源

    目录 一.Spark SQL支持的外部数据源 二.Spark SQL -> CSV 2.1 读CSV文件 a.有列名 b.无列名 2.2 写CSV文件 三.Spark SQL -> JSO ...

  7. Spark SQL连接外部数据源

    一.Spark SQL支持的外部数据源 Spark SQL开放了一系列接入外部数据源的接口,来让开发者可以实现Spark SQL可以 加载任何地方的数据,例如mysql,hive,hdfs,hbase ...

  8. spark基础之Spark SQL和Hive的集成以及ThriftServer配置

    如果希望Maven编译Spark时支持Hive,需要给定-Phive -Phive-thriftserver.比如比如:mvn -Pyarn -Phadoop-2.6 -Dhadoop.version ...

  9. spark SQL读取ORC文件从Driver启动到开始执行Task(或stage)间隔时间太长(计算Partition时间太长)且产出orc单个文件中stripe个数太多问题解决方案...

    1.背景: 控制上游文件个数每天7000个,每个文件大小小于256M,50亿条+,orc格式.查看每个文件的stripe个数,500个左右,查询命令:hdfs fsck viewfs://hadoop ...

  10. Spark入门(六)Spark SQL shell启动方式(元数据存储在mysql)

    一.hive配置文件 在spak/conf目录添加hive-site.xml配置,设置mysql作为元数据存储的数据库 <?xml version="1.0" encodin ...

最新文章

  1. elasticsearch从入门到出门-01windows上安装使用
  2. Lua 5.1.1 源代码阅读笔记
  3. TIN与DEM的区别和联系
  4. 精通Python网络爬虫:核心技术、框架与项目实战.3.2 爬行策略
  5. 世界之窗浏览器 v 3.6.1.0 [官方最新版]
  6. RxSwift 5官方Demo调试和学习资源
  7. 北京理工大学c语言课后答案,《北京理工大学C语言教材习题答案》.doc
  8. 斐讯K1、K2、K2P 刷机、刷入Breed 辅助工具
  9. 移动端Web组件-Dialog对话框
  10. APEX 压枪练习记录
  11. 万里汇WorldFirst支持从PayPal提现美元(实战教程)
  12. 入侵检测系统原理和实现
  13. PS钢笔工具使用方法简介
  14. Reflection in Java
  15. List接口(ArrayList集合和LinkedList集合)
  16. word实用技巧--学一个记一个
  17. Java游戏运行框架
  18. Java 阿里云实人认证
  19. 门店定位怎么在地图上显示_怎样让自己的店地理位置显示在高德地图上
  20. python实验大纲_Python程序设计实验-教学大纲-段震

热门文章

  1. android短信安全,基于Android短信服务的手机安全监控系统的设计与实现
  2. oracle rac vip不通,Oracle RAC 中vip网关引起错误的解决
  3. Javascript:利用闭包封装模块
  4. linux进程管理概念,Linux教程之进程的概念和进程管理命令的使用
  5. 诚毅学院的计算机专业,诚毅学院计算机专业JAVA题目
  6. apache commons Java包简介
  7. 关于各种服务器在境外的软件安装缓慢的问题解决方法
  8. 多尺度:传统高斯金字塔,拉普拉斯金字塔及SIFT算法多尺度金字塔
  9. opencv视频转图片并保存到文件夹下
  10. 3D目标检测论文汇总