单个字段中根据条件剔除数据

模拟数据

数据一:

1
2
3

数据二：

1
2

需求：
数据一中不包含数据二的数据

代码

object JoinTest {def main(args: Array[String]): Unit = {import org.apache.spark.sql.SparkSessionimport org.apache.log4j.{Level, Logger}Logger.getLogger("org").setLevel(Level.ERROR)val spark = SparkSession.builder.appName(this.getClass.getSimpleName).master(master = "local[*]").getOrCreate()import spark.implicits._import spark.sqlspark.read.textFile(path = "./data/t1").toDF("id").createTempView(viewName = "view1")spark.read.textFile(path = "./data/t2").toDF("id").createTempView(viewName = "view2")val start_time1 = System.currentTimeMillis()sql(sqlText = "select * from view1 where id not in (select id from view2)").show()val end_time1 = System.currentTimeMillis()println("方法一耗时：" + (end_time1 - start_time1))val start_time2 = System.currentTimeMillis()sql(sqlText = "select view1.id from view1 left outer join view2 on view1.id = view2.id where view2.id is null").show()val end_time2 = System.currentTimeMillis()println("方法二耗时：" + (end_time2 - start_time2))val start_time3 = System.currentTimeMillis()sql(sqlText = "select * from view1").join(sql(sqlText = "select * from view2"),$"view1.id" === $"view2.id", joinType = "left_outer").where("view2.id is null").select("view1.id").show()val end_time3 = System.currentTimeMillis()println("方法三耗时：" + (end_time3 - start_time3))spark.stop()}
}

结果

+---+
| id|
+---+
|  3|
+---+方法一耗时：1309
+---+
| id|
+---+
|  3|
+---+方法二耗时：248
+---+
| id|
+---+
|  3|
+---+方法三耗时：139

解释

再次说明大数据中方法一是禁止使用，原因之前说过。
方法二采用的纯sql的形式，二方法三采用的是DSL表达式，可以看的出来DSL表达式性能略高于纯sql

单个字段中根据条件剔除数据相关推荐

向内存中连续存入数据_实例35_在Excel中按条件筛选数据并存入新的表
老板想要看去年每月领料数量大于1000的数据.手动筛选并复制粘贴出来,需要重复操作12次,实在太麻烦了,还是让Python来做吧.磨刀不误砍柴工,先整理一下思路: 1. 读取原表,将数量大于1000的 ...
pandas使用query函数基于判断条件获得dataframe中满足条件的数据行(row)的索引列表（index of rows matching conditions in dataframe）
pandas使用query函数基于判断条件获得dataframe中满足条件的数据行(row)的索引列表(index of rows matching conditions in dataframe) ...
python基础一 -------如何在列表字典集合中根据条件筛选数据
如何在列表字典集合中根据条件筛选数据一:列表先随机生成一个列表,过滤掉负数 1,普通for循环迭代判断 2,filter()函数判断,filter(函数,list|tuple|string) 1 ...
在Excel中按条件筛选数据并存入新的表
案例老板想要看去年每月领料数量大于1000的数据.手动筛选并复制粘贴出来,需要重复操作12次,实在太麻烦了,还是让Python来做吧.磨刀不误砍柴工,先整理一下思路: 1·读取原表,将数量大于100 ...
sql 两张表的相同字段中刷选出不同数据
我们在业务逻辑中,经常会涉及两张表之间的数据比较, 其中涉及到某张表中独一份的数据,如下 1 两张表中相同字段name , 查询出在表a存在而表b中不存在的数据,并去重方法一: SELECT DIS ...
asp.net怎么实现按条件查询_用这个提取函数王中王，制作数据查询表
当Excel表的数据太多时,需要进行数据的查询与提取,往往要使用查找与引用函数.提取条件简单还好说,一复杂起来,就要使用又长又头疼的嵌套函数,不要说用了,光看懂函数都要死一片脑细胞. 别伤脑筋了,为什 ...
在列表，字典，集合中根据条件来筛选数据
在列表中根据条件来筛选数据 from random import randintdata = [randint(-10,10) for _ in range(10)] print(data) prin ...
创建了一个表之后怎么再次在表中添加字段和字段显示位置_筛选数据透视表中的数据...
[推荐阅读]资料下载QQ群:562718785(软件下载.精美PPT模板下载) [Excel视频教学]求和及快速求和 [Excel视频教学]跨表快速求和 [Excel视频教学]函数-相对绝对混合引用 ...
hbase shell查询表中某字段不为空的数据量_HBase工作原理
HBASE原理一.原理 1.物理存储 1．hregion hbase表中的数据按照行键的字典顺序排序,hbase表中的数据按照行的的方向切分为多个region. 最开始只有一个region随着数据量 ...

单个字段中根据条件剔除数据

模拟数据

代码

结果

解释

单个字段中根据条件剔除数据相关推荐

最新文章

热门文章