Scala模拟Spark分布式计算流程示例代码

场景

两个Executor，分别接收来自Driver分发的任务（数据和计算逻辑）

代码

Executor1

package com.zxl.bigdata.spark.core.testimport java.io.{InputStream, ObjectInputStream}
import java.net.{ServerSocket, Socket}object Executor {def main(args: Array[String]): Unit = {// 启动服务器，接收数据val server = new ServerSocket(9999)println("服务器启动，等待接收数据")// 等待客户端的连接val client: Socket = server.accept()val in: InputStream = client.getInputStreamval objIn = new ObjectInputStream(in)val task: SubTask = objIn.readObject().asInstanceOf[SubTask]val ints: List[Int] = task.compute()println("计算节点[9999]计算的结果为：" + ints)objIn.close()client.close()server.close()}
}

Executor2

package com.zxl.bigdata.spark.core.testimport java.io.{InputStream, ObjectInputStream}
import java.net.{ServerSocket, Socket}object Executor2 {def main(args: Array[String]): Unit = {// 启动服务器，接收数据val server = new ServerSocket(8888)println("服务器启动，等待接收数据")// 等待客户端的连接val client: Socket = server.accept()val in: InputStream = client.getInputStreamval objIn = new ObjectInputStream(in)val task: SubTask = objIn.readObject().asInstanceOf[SubTask]val ints: List[Int] = task.compute()println("计算节点[8888]计算的结果为：" + ints)objIn.close()client.close()server.close()}
}

Task

package com.zxl.bigdata.spark.core.testclass Task extends Serializable {val datas = List(1,2,3,4)//val logic = ( num:Int )=>{ num * 2 }val logic : (Int)=>Int = _ * 2}

SubTask

package com.zxl.bigdata.spark.core.testclass SubTask extends Serializable {var datas : List[Int] = _var logic : (Int)=>Int = _// 计算def compute() = {datas.map(logic)}
}

Driver

package com.zxl.bigdata.spark.core.testimport java.io.{ObjectOutputStream, OutputStream}
import java.net.Socketobject Driver {def main(args: Array[String]): Unit = {// 连接服务器val client1 = new Socket("localhost", 9999)val client2 = new Socket("localhost", 8888)val task = new Task()val out1: OutputStream = client1.getOutputStreamval objOut1 = new ObjectOutputStream(out1)val subTask = new SubTask()subTask.logic = task.logicsubTask.datas = task.datas.take(2)objOut1.writeObject(subTask)objOut1.flush()objOut1.close()client1.close()val out2: OutputStream = client2.getOutputStreamval objOut2 = new ObjectOutputStream(out2)val subTask1 = new SubTask()subTask1.logic = task.logicsubTask1.datas = task.datas.takeRight(2)objOut2.writeObject(subTask1)objOut2.flush()objOut2.close()client2.close()println("客户端数据发送完毕")}
}

程序运行日志

Scala模拟Spark分布式计算流程示例代码相关推荐

Spark 部署及示例代码讲解
Spark 部署考虑到读者可能使用"ssh secure shell"这样的工具登陆 Linux,所以解释一下如何设置工具支持中文. 如何设置 ssh secure shell ...
Linkis1.0用户使用文档：JAVA和SCALA调用Linkis的接口示例代码
Linkis 提供了方便的JAVA和SCALA调用的接口,只需要引入linkis-computation-client的模块就可以进行使用,1.0后新增支持带Label提交的方式,下面将对兼容0.X的 ...
php post 二维数组,php curl模拟post请求和提交多维数组的示例代码
这篇文章主要介绍了php curl模拟post请求和提交多维数组的示例代码,需要的朋友可以参考下下面一段代码给大家介绍php curl模拟post请求的示例代码,具体代码如下: 'tanteng' ...
python模拟登陆验证码el_python 模拟登陆github的示例
# -*- coding: utf-8 -*- # @Author: CriseLYJ # @Date: 2020-08-14 12:13:11 import re import requests c ...
模拟数字时钟，python代码
这是一个使用 Python 创建模拟数字时钟的示例代码: importtime import oswhile True:# 获取当前时间current_time = time.strftime(&qu ...
用spark自带的示例SparkPi测试scala和spark集群
在按照王家林的文档安装完scala,spark集群和idea-IC开发工具后,用spark自带的示例SparkPi测试scala和spark集群 1.按照王家林文档中的方法把spark自带的Spark ...
python登录网页账号密码_Python 通过爬虫实现GitHub网页的模拟登录的示例代码
1. 实例描述通过爬虫获取网页的信息时,有时需要登录网页后才可以获取网页中的可用数据,例如获取 GitHub 网页中的注册号码时,就需要先登录账号才能在登录后的页面中看到该信息,如下图所示.那么该如 ...
Spark SQL JOIN操作代码示例
title: Spark SQL JOIN操作 date: 2021-05-08 15:53:21 tags: Spark 本文主要介绍 Spark SQL 的多表连接,需要预先准备测试数据.分别创建 ...
python登录各种网页示例_Python 通过爬虫实现GitHub网页的模拟登录的示例代码
1. 实例描述通过爬虫获取网页的信息时,有时需要登录网页后才可以获取网页中的可用数据,例如获取 GitHub 网页中的注册号码时,就需要先登录账号才能在登录后的页面中看到该信息,如下图所示.那么该如 ...

Scala模拟Spark分布式计算流程示例代码

场景

代码

Executor1

Executor2

Task

SubTask

Driver

程序运行日志

Scala模拟Spark分布式计算流程示例代码相关推荐

最新文章

热门文章