spark 获取广播变量_spark使用广播变量

import java.io.{File, FileReader}

import java.util

import org.apache.spark.SparkConf

import org.apache.spark.broadcast.Broadcast

import org.apache.spark.sql.SparkSession

import scala.collection.mutable.ArrayBuffer

object SparkTest{

// 使用广播变量过滤敏感数据

def main(args: Array[String]): Unit = {

val conf = new SparkConf().setMaster("local[2]").setAppName("test")

val spark = SparkSession.builder().config(conf).getOrCreate()

spark.sparkContext.setLogLevel("WARN")

//计算逻辑

compute(spark)

spark.stop()

}

def compute(spark:SparkSession):Unit ={

import spark.implicits._

//加载过敏词汇并存储到 ArrayList 中

val filterDataPath = "G:\\tmp\\b.txt"

val al = new util.ArrayList[String]()

val reader = new java.io.BufferedReader(new FileReader(new File(filterDataPath)))

while (reader.ready()){

val str = reader.readLine()

str.split(" ").foreach(al.add(_))

}

val broadcast: Broadcast[util.ArrayList[String]] = spark.sparkContext.broadcast(al)

spark.sparkContext.textFile("G:\\tmp\\a.txt")

.mapPartitions(ite =>{

// 对源数据进行切割分词,并对每个词进行校验,符合要求的词汇添加到ArrayBuffer中

val arr = ArrayBuffer[String]()

val filterWord:util.ArrayList[String] = broadcast.value

ite.foreach(line => {

line.split(" ").foreach(word => {

if( !filterWord.contains(word) ) arr.+=(word)

})

arr.toIterator

})

.collect

.foreach(println)

}

spark 获取广播变量_spark使用广播变量相关推荐

Spark 性能常规性能调优广播大变量_大数据培训
常规性能调优四:广播大变量默认情况下,task中的算子中如果使用了外部的变量,每个task都会获取一份变量的复本,这就造成了内存的极大消耗.一方面,如果后续对RDD进行持久化,可能就无法将RDD数据 ...
【Android 电量优化】电量优化 ( 充电状态获取 | 主动获取充电状态 | 广播接受者监听充电状态 | 被动获取充电状态 | 注册空广播接受者获取历史广播 )
文章目录一.获取充电状态二.被动获取充电状态三.主动获取充电状态参考 Google 官方文档 : 优化电池续航时间一.获取充电状态在应用中执行某些操作 , 如软件云端备份 , 从服务器端获 ...
gl.getAttribLocation P41 获取name参数指定的attribute变量存储地址
参数 program 指定包含顶点着色器和片元着色器的着色器程序对象 name 指定想要获取其存储地址的attribute变量名称 var VSHADER_SOURCE= 'attribute ve ...
Installshield获取安装包版本的系统变量是IFX_PRODUCT_VERSION
Installshield获取安装包版本的系统变量为IFX_PRODUCT_VERSION 当笔记记下来,很简单的一个变量,不过IS里查系统变量是让人头大,知道就是知道,不知道查起来查死人转载于:h ...
Spark基础学习笔记09：Scala变量与数据类型
文章目录零.本讲学习目标一.变量声明 (一)简单说明 (二)利用val声明变量 1.声明方式 2.案例演示 (三)利用var声明变量 1.声明方式 2.案例演示 (四)换行输入语句(续行) (五) ...
QT for android 获取PDA扫码的广播数据
QT for android 获取PDA扫码的广播数据前记笔者接触到的PDA扫码枪,有三种, 一种是蓝牙枪,连接到手机或者电脑上之后,可以直接把扫描到的数据传送到焦点所在的文本框中:另外两种是普通 ...
shell字段拼接日期_通过shell脚本获取日期，并赋给变量(转)
通过shell获取当前8位日期,并赋给变量,并且使用变量作为文件名,建立文件夹代码如下: ls_date=`date +%Y%m%d` mkdir ${ls_date} 上面两句代码虽然简单但是在 ...
通过shell脚本获取日期，并赋给变量
本文转载自: http://www.cnblogs.com/oliverqin/p/5865656.html 作者:OliverQin 转载请注明该声明. 通过shell获取当前8位日期,并赋给变量, ...
java线程条件变量_使用条件变量（多线程笔记）
条件变量属性: 使用条件变量可以以原子方式阻塞线程,知道某个特定条件为真为止.条件变量始终与互斥锁一起使用. 使用条件变量,线程可以以原子方式阻塞,知道满足某个条件为止.对掉件的测试时在互斥锁的保护下 ...

spark 获取广播变量_spark使用广播变量

spark 获取广播变量_spark使用广播变量相关推荐

最新文章

热门文章