Impala性能优化

　　不多说，直接上干货！

• 执行计划
　　– 查询sql执行之前，先对该sql做一个分析，列出需要完成这一项查询的详细方案
　　– 命令：explain sql、profile

要点：
　　• 1、SQL优化，使用之前调用执行计划
　　• 2、选择合适的文件格式进行存储
　　• 3、避免产生很多小文件（如果有其他程序产生的小文件，可以使用中间表）
　　• 4、使用合适的分区技术，根据分区粒度测算
　　• 5、使用compute stats进行表信息搜集
　　• 6、网络io的优化：
　　　　– a.避免把整个数据发送到客户端
　　　　– b.尽可能的做条件过滤
　　　　– c.使用limit字句
　　　　– d.输出文件时，避免使用美化输出
　　• 7、使用profile输出底层信息计划，在做相应环境优化

　　• 8、如果是刷新表的新增元数据要使用refresh 表名来刷新，不要使用impala-shell -r 或 invalidate metadata

　　• 9、如果执行SQL的结果内容较多的话可以使用 impala-shell -B 将一些不必要的样式输出去掉

转载于:https://www.cnblogs.com/zlslch/p/6785767.html

Impala性能优化相关推荐

Flink 新场景：OLAP 引擎性能优化及应用案例
摘要:本文由阿里巴巴技术专家贺小令(晓令)分享,主要介绍 Apache Flink 新场景 OLAP 引擎,内容分为以下四部分: 背景介绍 Flink OLAP 引擎案例介绍未来计划一.背景介绍 ...
Apache Flink OLAP引擎性能优化及应用
精选30+云产品,助力企业轻松上云!>>> 摘要:最近我们也正打算做OLAP分析平台,在调研的过程中,发现已有的成熟技术只能满足我们的部分需求,相信大家也有这样的困惑,本文分享的是来 ...
Impala内存优化
Impala内存优化一. 引言 Hadoop生态中的NoSQL数据分析三剑客Hive.HBase.Impala分别在海量批处理分析.大数据列式存储.实时交互式分析各有所长.尤其是Impala,自从加 ...
Hive3入门至精通(基础、部署、理论、SQL、函数、运算以及性能优化)15-28章
Hive3入门至精通(基础.部署.理论.SQL.函数.运算以及性能优化)15-28章 [Hive3入门至精通(基础.部署.理论.SQL.函数.运算以及性能优化)1-14章](https://blog. ...
Impala内存优化实战案例
Impala内存优化实战案例李珂畅游DT时代 2016-03-25 文章来源:中国联通网研院网优网管部--IT技术研究团队作者:李珂一. 引言 Hadoop生态中的NoSQL数据分析三剑客Hi ...
大数据组件Hive性能测试和性能优化
目录 1.项目介绍 2.测试方法 3.性能优化 3.1 Hive原理 3.2 优化过程 1.项目介绍这是我在华为做的最后一个项目,当时在华为海思部门.部门主要是给一些国产芯片做服务器的软件性能测试, ...
kali2020进入单模式_蚂蚁集团技术专家山丘：性能优化的常见模式及趋势
陈显铭(山丘) 读完需要 6分钟速读仅需 2 分钟陈显铭,花名山丘,就职于蚂蚁集团,对分布式应用架构.服务化.性能优化等有深入的理解.参与支付宝支付链路核心系统,设计.调优应用系统关键能力, 高效 ...
MegEngine推理性能优化
MegEngine推理性能优化 MegEngine「训练推理一体化」的独特范式,通过静态图优化保证模型精度与训练时一致,无缝导入推理侧,再借助工业验证的高效卷积优化技术,打造深度学习推理侧极致加速方案 ...
asp.net程序性能优化的七个方面
asp.net程序性能优化的七个方面一.数据库操作 1.用完马上关闭数据库连接访问数据库资源需要创建连接.打开连接和关闭连接几个操作.这些过程需要多次与数据库交换信息以通过身份验证,比较耗费服务器 ...

Impala性能优化

Impala性能优化相关推荐

最新文章

热门文章