spark sql cache时发现的空字符串问题

博客园首发，转帖请注明地址：https://www.cnblogs.com/tzxxh/p/10267202.html

图一

图1未做cache，直接过滤expression列的 null 和空字符串，可以看到结果符合预期。

图二

图2做了cache，再过滤expression列的 null 和空字符串，可以看到结果并不符合预期。

图三

图三中的id为varchar类型，可以看到 id != '' 的过滤条件，不论id的值有几个空格，都会过滤掉，id='a'的条件也是不论a后面有几个空格都会取出来。这是因为查询mysql会帮我们过滤掉尾部空格。

图一图二中的expression字段为varchar类型，sql查询的时候会自动去掉尾部的空格。

图四

从上图可以看到，带缓存的是扫描内存中的数据，因此，图一直接查询的mysql，过滤的时候会去掉尾部空格；图二扫描内存中的数据，不会去掉尾部空格。

转载于:https://www.cnblogs.com/tzxxh/p/10267202.html

spark sql cache时发现的空字符串问题相关推荐

oracle判断字段为空时选用别的字段_oracle中使用sql查询时字段为空则赋值默认
转至:http://www.th7.cn/db/Oracle/201501/86125.shtml oracle 通过 nvl( )函数sql 查询时为空值赋默认值 oracle 函数介绍之nvl ...
oracle中使用sql查询时字段为空则赋值默认
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. oracle 通过 nvl( )函数sql 查询时为空值赋默认值 oracle 函数介绍之nvl ...
spark sql cache
1.几种缓存数据的方法例如有一张hive表叫做activity 1.CACHE TABLE //缓存全表 sqlContext.sql("CACHE TABLE activity" ...
Django与SQL语言中——NULL与空字符串的区别
SQL有指定空值的独特方式,它把空值叫做NULL. Null在数据库中表示不知道的数据,主要有3种意思: 1)知道数据存在,但不知道具体值. 2)不知道数据是否存在. 3)数据不存在. 在SQL中, ...
sql server 之函数小技巧整数类型为空是用空字符串替代实现
1.判空函数说明:使用指定的替换值替换 NULL. 语法:ISNULL ( check_expression , replacement_value ) 参数: check_expression:将 ...
Spark SQL玩起来
标签(空格分隔): Spark [toc] 前言 Spark SQL的介绍只包含官方文档的Getting Started.DataSource.Performance Tuning和Distribut ...
oracle和mysql空字符串_Oracle数据库中对null值的排序及mull与空字符串的区别
order by排序之null值处理方法在对业务数据排序时候,发现有些字段的记录是null值,这时排序便出现了有违我们使用习惯的数据大小顺序问题.在Oracle中规定,在Order by排序时缺省认为 ...
Cris 的 Spark SQL 笔记
一.Spark SQL 概述 1.1 什么是Spark SQL Spark SQL 是 Spark 用来处理结构化数据的一个模块,它提供了2个编程抽象: DataFrame 和DataSet,并且作为 ...
袋鼠云数栈基于CBO在Spark SQL优化上的探索
原文链接:袋鼠云数栈基于CBO在Spark SQL优化上的探索一.Spark SQL CBO选型背景 Spark SQL的优化器有两种优化方式:一种是基于规则的优化方式(Rule-Based Opt ...
Spark SQL 核心编程
文章目录 Spark SQL 核心编程 1.新的起点 2.SQL 语法 1) 读取 json 文件创建 DataFrame 2) 对 DataFrame 创建一个临时表 3) 通过SQL语句实现查询全 ...

spark sql cache时发现的空字符串问题

图一

图二

图三

图四

spark sql cache时发现的空字符串问题相关推荐

最新文章

热门文章