sparkSql 随机打散分配

UDF 函数

val randomNew = (str :String, n: Int) => {val buffer = ArrayBuffer[Int](-1)var length:Int = 1var index:Int = -1for(a <- str){index = index + 1if (a ==':') {length = length+1buffer +=index}}val routeKey = length <= nrouteKey match {case true => strcase _ => {val index = (new Random).nextInt(length)if(index+n < length){str.slice(buffer(index)+1,buffer(index+n)-1)}else if(index+n ==length){str.slice(buffer(index)+1,str.length)}else{val index2 =n-(length-index)str.slice(buffer(index)+1,str.length)+":"+str.slice(buffer(0),buffer(index2)-1)}}}}hive.udf.register("randomNew", randomNew)

假如有一串以冒号 : 分割的字符串 val arr:String = “adfa:adfa:adag:asdf:hgfh:fgjgfj:fgjfjk:fjfkfjk”
随机获取三个子串的拼接字符串 randomNew(arr,3) adag:asdf:hgfh

sparkSql 随机打散分配相关推荐

Matlab——离散点的随机区域分配
Matlab--离散点的随机区域分配假设待定区域现在有200个离散点,我们随机挑选出10个离散点,并以这10个点为中心画半径为R(任意取)的圆.我们知道这10个圆在没有任何交集的情况下,共有10个区 ...
TensorFlow：随机打散、批训练、预处理、循环训练
文章目录一.随机打散二.批训练三.预处理四.循环训练一.随机打散通过 Dataset.shuffle(buffer_size)工具可以设置Dataset 对象随机打散数据之间的顺序,防止每 ...
如何快速随机打散一个数字数组？
随机就离不开Math.random() 既然是一个数字数组,写过排序吧,有冒泡排序.sort排序等,都能排序成从小到大或从大到小的数组. 那么暂且看看sort生序排列的写法: var a = [10 ...
【python实现随机分组一个公司年终庆典，需要将职员分成三组，现在有8位职员等待小组分配，编写程序实现职员的随机分配。】
题目:一个公司年终庆典,需要将职员分成三组,现在有8位职员等待小组分配,编写程序实现职员的随机分配. 实现思路:遍历每一个职工,让他们自己随机选择分配到哪一个小组.当然,有特殊情况需要剔除,如果随机分 ...
java--JVM--栈帧--JVM及其优化---逃逸技术（堆栈分配方法）（转载）
对象逃逸的概念:对象能被其他线程以任何形式访问栈帧: 局部变量表:保存函数的参数以及局部变量用的,局部变量表中的变量只在当前函数调用中有效,当函数调用结束后,随着函数栈帧的销毁,局部变量表也会随之销 ...
JVM学习笔记之-堆,年轻代与老年代,对象分配过程,Minor GC、Major GC、Full GC,堆内存大小与OOM,堆空间分代,内存分配策略,对象分配内存,小结堆空间,逃逸分析,常用调优工具
堆的核心概述概述一个JVM实例只存在一个堆内存,堆也是Java内存管理的核心区域.Java堆区在JVM 启动的时候即被创建,其空间大小也就确定了.是JVM管理的最大一块内存空间. 堆内存的大小是可 ...
Kafka分区分配策略（3）——自定义分区分配策略
接上文: 1.[Kafka分区分配策略(1)--RangeAssignor] 2.[Kafka分区分配策略(2)--RoundRobinAssignor和StickyAssignor] 欢迎支持笔者新 ...
vs 编译器的堆空间不足_原创|面试官：Java对象一定分配在堆上吗？
最近在看 Java 虚拟机方面的资料,以备工作中的不时之需.首先我先抛出一个我自己想的面试题,然后再引出后面要介绍的知识点如逃逸分析.标量替换.栈上分配等知识点面试题 Java 对象一定分配在堆上吗 ...
深入理解JVM之对象分配流程
Java对象分配流程栈上分配参考: https://www.cnblogs.com/BlueStarWei/p/9358757.html (讲的很好) https://blog.csdn.net/ ...

sparkSql 随机打散分配

UDF 函数

sparkSql 随机打散分配相关推荐

最新文章

热门文章