Hive优化---or

优化前

select count(b.user_initial_ccid)
from dwd.dwd_ccid_register_a  a
left join audience_data_service.sys_user_all b
on ((b.user_id=a.union_id_md5 and b.user_type_id=15)
or (b.user_id=a.mobile_md5 and b.user_type_id=16)
or (b.user_id=a.email_md5 and b.user_type_id=11)
or (b.user_id=a.open_id_md5 and b.user_type_id=14)
or (b.user_id=a.alipay_id_md5 and b.user_type_id=18)
or (b.user_id=a.wechat_id_md5 and b.user_type_id=13)
or (b.user_id=a.ip_md5 and b.user_type_id=12)) and b.dt='current';

优化后

drop table if exists tmp.tmp_count1;create table tmp.tmp_count1 as
select b.ccid,a.*
from dwd.dwd_ccid_register_a a
left join audience_data_service.sys_user_ccid_all b
on case when a.mobile_md5 is not null then a.mobile_md5
when a.union_id_md5 is not null then a.union_id_md5
when a.open_id_md5 is not null then a.open_id_md5
when a.email_md5 is not null then a.email_md5
when a.alipay_id_md5 is not null then a.alipay_id_md5 end = b.user_id
and case when a.mobile_md5 is not null then 16
when a.union_id_md5 is not null then 15
when a.open_id_md5 is not null then 14
when a.email_md5 is not null then 11
when a.alipay_id_md5 is not null then 18 end = b.user_type_id;

Hive优化---or相关推荐

hive 行转列和列转行的方法_读离线和实时大数据开发实战，为你揭开 Hive 优化实践的神秘面纱...
前言「1024,1GB,一级棒!程序仔们节日快乐!」 ❝ 指尖流动的 1024 行代码,到底是什么? ❞ ❝ 是10行的迷茫?是101行的叛逆?是202行的理性思考?是307行对渴望的冲动?还是40 ...
深入浅出学Hive：Hive优化
目录: 初始Hive Hive安装与配置 Hive内建操作符与函数开发 Hive JDBC Hive参数 Hive高级编程 Hive QL Hive Shell基本操作 Hive优化 Hive体系结构 ...
Hive优化（再一遍系统复习）
Hive优化(或者面试问你工作中遇到的问题就可以答hive优化) select * 是不走MR程序的可以开启本地模式local(当文件小于默认128M且文件数少于4个,不走MR) 表的优化 (1) ...
窗口函数和hive优化简记
窗口函数: (1) OVER():指定分析函数工作的数据窗口大小,这个数据窗口大小可能会随着行的变而变化.常用partition by 分区order by排序. (2)CURRENT ROW:当前行 ...
hive 优化（二）
在讨论hive优化之前,我们需要知道的是HQL它的执行过程. 简单的说,HQL会最终转化为job,然后通过MR来执行job 问题一既然HQL会转化为JOB,那么如果job数量太多,会不会对hive执 ...
HIVE优化系列（1）-- 自动合并输出的小文件
小文件的缺陷我们就不说了,直接进入到正题. HIVE自动合并输出的小文件的主要优化手段为: set hive.merge.mapfiles = true:在只有map的作业结束时合并小文件, set ...
Hive 优化（通用版）
hive优化 Hive 优化核心思想:把Hive SQL 当做Mapreduce程序去优化以下SQL不会转为Mapreduce来执行: select仅查询本表字段 where仅对本表字段做条件过滤 ...
CC00027.hadoop——|HadoopHive.V27|——|Hive.v27|Hive优化策略|实战.v03|
一.SQL优化 ### --- SQL优化~~~ 列裁剪和分区裁剪 ~~~ 列裁剪是在查询时只读取需要的列:分区裁剪就是只读取需要的分区. ~~~ 简单的说:select 中不要有多余的列,坚决避免 ...
大数据笔记30—Hadoop基础篇13(Hive优化及数据倾斜)
Hive优化及数据倾斜知识点01:回顾知识点02:目标知识点03:Hive函数:多行转多列知识点04:Hive函数:多行转单列知识点05:Hive函数:多列转多行知识点06:Hive函数: ...
一篇文章让你通透Hive优化
Hive优化一.hive参数优化 1.map数优化 2.reduce数优化 3.Fetch抓取(Hive可以避免进行MapReduce) 4 .模式选择 1)本地模式 2)并行模式 3)严格模 ...

Hive优化---or

优化前

优化后

Hive优化---or相关推荐

最新文章

热门文章