java spark yarn_java – 是否可以从代码中运行spark yarn cluster？

我有一个MapReduce任务,我想从我的

java代码在Spark YARN集群上运行.另外,我想在我的java代码中检索reduce结果(字符串和数字对,元组).就像是：

// I know, it's wrong setMaster("YARN"), but just to describe what I want.

// I want to execute job ob the cluster.

SparkConf sparkConf = new SparkConf().setAppName("Test").setMaster("YARN");

JavaSparkContext sc = new JavaSparkContext(sparkConf);

JavaRDD input = sc.parallelize(list);

// map

JavaPairRDD results = input.mapToPair(new MapToPairExample());

// reduce

String max = results.max(new MyResultsComparator())._1();

如果我将master设置为local,local []或spark：// master：7707,它就可以工作.

所以问题是：我能以某种方式对纱线集群做同样的事情吗？

最佳答案你需要使用spark-submit来做到这一点. Spark提交处理许多事情,从发送依赖关系到集群并设置正确的类路径等.

当您在本地模式下将其作为主java程序运行时,IDE将负责类路径(因为驱动程序/执行程序在同一个jvm中运行).

如果您希望在计算机上运行驱动程序,也可以使用“yarn-client”模式.

对于纱线群集模式,请使用.setMaster(“yarn-cluster”)

java spark yarn_java – 是否可以从代码中运行spark yarn cluster？相关推荐

java面试题25 在程序代码中写的注释太多，会使编译后的程序尺寸变大。
java面试题25 在程序代码中写的注释太多,会使编译后的程序尺寸变大. A:正确 B:错误蒙蔽树上蒙蔽果,蒙蔽树下你和我拿到这道题,我觉得说的贼有道理,注释太多,尺寸变大.无疑与就和驾考一样, ...
java ip加密如何访问_java代码中如何实现http访问
作者:释怀Na 出自:CSDN 原文:blog.csdn.net/qq_35906921/article/details/98076258 java代码中如何实现http访问大概的实现就是请求ht ...
java注释里加_如何在代码中添加注释
什么是代码注释,如何在代码中添加注释,相信每一位了解编程的人并不陌生.注释里往往有很多有趣的脑洞和「真心话」.今天我们一起去看看那些6到飞起,被玩坏了的幽默注释吧. 信息量太大的注释系列-- 1.你造 ...
java 魔鬼数字_什么是代码中的魔鬼数字，如何解决？
魔鬼数字的定义:在代码中没有具体含义的数字.字符串. 魔鬼数字主要影响了代码可读性,读者看到的数字无法理解其含义,从而难以理解程序的意图.当程序中出现的魔鬼数字过多时,代码的可维护性将会急剧下降,代码 ...
java keypress事件_javaweb开发-js代码中keypress事件调用判断，取得keyCode值
在js代码中的一段代码,keypress事件调用的函数中的代码. var keyCode = event.keyCode ? event.keyCode : event.which ? event.w ...
java 命令行eclipse_在命令行中运行eclipse中创建的java项目
由于项目要求,需要对eclipse中的项目进行打包,使其可以在客户机上不装eclipse的情况下正常运行. 一.环境说明: eclipse---3.5 jdk-------1.6.0.22 os--- ...
spark java8 scala_在 Ubuntu16.04 中搭建 Spark 单机开发环境 (JDK + Scala + Spark)
1.准备本文主要讲述如何在Ubuntu 16.04 中搭建 Spark 2.11 单机开发环境,主要分为 3 部分:JDK 安装,Scala 安装和 Spark 安装. 需要注意的是,Spark 版 ...
Java女程序员求偶的代码能运行出什么？
今日在网上看到一则视频,一名女程序员的择偶要求是另一半必须是程序员,然后联系方式通过一段Java代码给出,上班摸鱼期间,闲得无聊,试了一下. 值得注意的是代码中的错误应该题主故意留下的,目的是筛选真正 ...
access子窗体的控件vba怎么写_第37讲：VBA代码中运行错误的处理方式
大家好,本来在这一讲要接着我们的上一讲内容讲解二师兄的成长过程之九,但之九的内容是错误的处理,为了大家能更好的掌握之九二师兄的成才内容,我们临时加入一讲专门讲解VBA中错误处理,这一讲中我重点讲一下V ...
Spark学习笔记——在集群上运行Spark
Spark运行的时候,采用的是主从结构,有一个节点负责中央协调, 调度各个分布式工作节点.这个中央协调节点被称为驱动器( Driver) 节点.与之对应的工作节点被称为执行器( executor) 节 ...

java spark yarn_java – 是否可以从代码中运行spark yarn cluster？

java spark yarn_java – 是否可以从代码中运行spark yarn cluster？相关推荐

最新文章

热门文章