海豚调度器初次使用 .......

一，部署部分省略，官网有详细的教程，顺着步骤做就好了。

二，先说说调用spark运行wordcount案例流程

1，编写代码

package com.sjb.exampleimport org.apache.log4j.Logger
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.SparkSession//  com.sjb.example.WordCount
object WordCount {var LOGGER:Logger = Logger.getLogger(WordCount.getClass)def main(args: Array[String]): Unit = {
//    val wordFile = "file:\\C:\\Users\\Administrator\\Desktop\\test.txt"
//    val wordFile = "file:/wyyt/software/flink-1.11.2/test.txt"
//    val wordFile = "/spark/test/data/test.txt"val wordFile = "/dolphinscheduler/test/resources/spark_jar/word.txt"System.setProperty("HADOOP_USER_NAME", "hive")
//    System.setProperty("HADOOP_USER_NAME", "test")
//    System.setProperty("HADOOP_USER_NAME", "dolphinscheduler")//    val wordFile = args(0)println("接受参数信息："+wordFile)LOGGER.error("$$$$$$接受参数信息："+wordFile)
//    val conf = new SparkConf().setAppName("wordcount").setMaster("local[*]")val conf = new SparkConf().setAppName("wordcount")conf.set("dfs.client.use.datanode.hostname", "true")val sc = new SparkContext(conf)val input = sc.textFile(wordFile)val lines: RDD[String] = input.flatMap(line => line.split(" "))val count: RDD[(String, Int)] = lines.map(word => (word, 1)).reduceByKey { case (x, y) => x + y }count.collect().foreach(println)sc.stop()}}

2，上传jar包

3，编辑节点，执行任务

4，查询任务运行过程

5，总结问题。

记得配置spark的环境变量，在海豚安装目录：

传入参数分为3种：
主程序就是传入给main方法的参数，比如一个路径

选型参数：就是系统参数，比如提交命令 --name xxx

自定义参数: 就是自己定义key 名称，然后在别的地方使用，在官网视频讲解 shell 脚本的案例的时候有提到。

6，未完待续

海豚调度器初次使用 .......相关推荐

Apache DolphinScheduler 海豚调度器自定义时间参数
在Apache DolphinScheduler 海豚调度器(本文简称:小海豚) 官网中,我们看到其自定义时间的参数是这样介绍的 1.支持代码中自定义变量名,声明方式:${变量名}.可以是引用 &qu ...
海豚调度器（dolphinscheduler）再次使用，添加钉钉预警
1,首先我们部署是海豚调度器 1.3.8 版本,由于页面只有邮件预警,所以在了解源码的同时,需要添加钉钉预警 2,说明,这一块是同事搞的,不是我搞的,新版本的dolphinscheduler已经有了钉 ...
如何在CDH5.16.2中部署海豚调度器Apache Dolphin Scheduler 1.2.0
Apache Dolphin Scheduler 组件介绍分布式易扩展的可视化DAG工作流任务调度系统.致力于解决数据处理流程中错综复杂的依赖关系,使调度系统在数据处理流程中开箱即用. 官网 : h ...
Dolphinscheduler/海豚调度器的安装
Dolphinscheduler的安装一.预安装 1.1 安装节点规划 1.2 软件下载二.安装 2.1 创建dolphinscheduler用户 2.2 安装Java 2.3 安装Zookeep ...
Apache DolphinScheduler——开源大数据调度器神器
目录 1. 简介 1.1 概念 1.2 优缺点 1.3 哪些人适合DolphinScheduler(纯属个人观点) 1.4 社区 2. 集群模式安装详解(比官网还细,个人手把手实践避坑) 2.1 ...
深入了解海豚调度DolphinScheduler
深入了解海豚调度DolphinScheduler 一.海豚调度介绍二.海豚调度特性三.建议配置四.名词解释五.模块介绍六.功能介绍 1.项目首页 2.工作流定义 3.工作流实例 4.任务实例 ...
海豚调度DolphinScheduler源码分析（一）
系统架构设计在对调度系统架构说明之前,我们先来认识一下调度系统常用的名词 1.名词解释 DAG: 全称Directed Acyclic Graph,简称DAG.工作流中的Task任务以有向无环图的形 ...
海豚调度在 Kubernetes 体系中的技术实战
点击上方蓝字关注我们作者 | 杨滇编辑 | warrior_ ✎ 编者按 Kubernetes 是一个基于容器技术.实现容器编排.提供微服务和总线的集群系统,涉及到大量的知识体系. 本文从作者的 ...
美女 Committer 手把手教你使用海豚调度
还在为选哪个调度发愁么?还在为查使用手册愁眉不展么?来来来,先瞧一眼海豚调度的 Slogan:调度选的好,下班回家早.调度用的对,半夜安心睡.为充分贯彻这一宗旨,海豚调度一条龙服务来了,特地邀请海豚社 ...

海豚调度器初次使用 .......

海豚调度器初次使用 .......相关推荐

最新文章

热门文章