问题分析报告--简单SQL启动MR

1、问题描述

1.1 基本信息[Basic Information]

集群规模：37+3台物理机，每台128G内存；CPU：2*16C；SATA磁盘，2T*12
hadoop社区版本：**
商业版本：FusionInsight_HD_V100R002C60U10
MetaStore：高斯数据库（Postgresql）

1.2 问题描述[Problem Description]

10月24号发现之前执行select * from table这种语句，很多都转换成MR提交到yarn队列上了，导致集群任务大量堆积;

2、问题分析[Problem Analysis]

导致问题的原因是c30的版本的hive.fetch.task.conversion参数默认为more，到c60改成了minimal。这样做原因是考虑到安全的因素。

这个参数功能是控制对于select 单表是否要启动mr。在minimal的情况下，可能会导致hiveserver处理大量的这样的fetch操作，使得hiveserver的压力增大，导致影响其它请求的及时响应。

C60改成minimal后，当需要fetch的数据大于设置的阈值的时候，就会出现原来没有启动mr的sql语句，启动sql语句了。

3、根本原因[Root Cause]

新版本由于上述原因，改变了参数的默认值，没考虑到在交互式查询中，客户大量使用了这种select * from table的方式，而产生了大量的MR任务。

4、解决措施[Corrective Action]

4.1 最终解决措施[Solution]

将hive.fetch.task.conversion的默认值minimal，改成more
客户的使用方式需要将这种select * from table 加上一个limit操作，因为我们了解到用户使用这个语句，只是为了查看表结构信息或者只是看几条数据，所以加上limit就既可以满足需要，又避免hiveserver出现问题

问题分析报告--简单SQL启动MR相关推荐

Statspack之六-生成分析报告(转贴)
Statspack之六-生成分析报告调用spreport.sql可以生成分析报告: SQL> @spreport DB Id DB Name Inst Num Instance ------- ...
BIM应用（VR\AR\MR）相关设备及软件——来自《中国建筑业BIM应用分析报告（2020）》
原文来自书籍--中国建筑业BIM应用分析报告(2020) 目录一.BIM应用相关设备及软件整体介绍 1.可穿戴式视觉仿真设备 (1)虚拟现实(Virtual Reality,简称VR) (2)增强现 ...
Postgresql源码（82）SPI模块拆解分析一：执行简单SQL获取结果
相关 <Postgresql源码(76)执行器专用元组格式TupleTableSlot> <Postgresql源码(82)SPI模块拆解分析一:执行简单SQL获取结果> &l ...
从Mysql源代码角度分析一句简单sql的查询过程
1. 前言使用mysql这么多年,以前一直只懂写sql,却不其中运行原理,直至最近抽时间看了一下mysql源代码, 对其事务运行原理及sql解析优化有一些更深入的理解. 本篇是讲述sql解析的开篇之 ...
oracle如何自动分析报告,ORACLE 性能分析报告的获取
ORACLE 性能分析报告的获取: 我们都知道,在oracle数据库当中有性能分析报告的设计,如ASH,AWR,ADDM,AWRDD,AWRSQRPT,这些报告就像我们去医院的检查报告一样,我们在这个 ...
c语言报告程序分析报告,2012C语言程序分析报告.doc
2012C语言程序分析报告 C语言程序设计专周专周报告班级:10611 学号:20 姓名: 设计时间:2011-5-30至2011-6-3 一.设计题目:职工工资管理小软件二.实习目的 1 ...
[译] APT分析报告：10.Lazarus以ThreatNeedle家族攻击工业事件还原（BMP图片隐藏RAT）
这是作者新开的一个专栏,主要翻译国外知名安全厂商的APT报告,了解它们的安全技术,学习它们溯源APT组织和恶意代码分析的方法,希望对您有所帮助.当然,由于作者英语有限,会借助机翻进行校验,还请包涵!前 ...
[译] APT分析报告：09.伊朗APT34更新武器库——SideTwist变体
这是作者新开的一个专栏,主要翻译国外知名安全厂商的APT报告,了解它们的安全技术,学习它们溯源APT组织和恶意代码分析的方法,希望对您有所帮助.当然,由于作者英语有限,会借助机翻进行校验,还请包涵!前 ...
[译] APT分析报告：08.漏洞利用图谱–通过查找作者的指纹来寻找漏洞
这是作者新开的一个专栏,主要翻译国外知名安全厂商的APT报告,了解它们的安全技术,学习它们溯源APT组织和恶意代码分析的方法,希望对您有所帮助.当然,由于作者英语有限,会借助机翻进行校验,还请包涵!前 ...