Hive 禁止提交大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)

　参考书籍：Hive编程指南

　如果用户需要做一个查询，查询条件是全盘扫描。Hive会不得不读取每个文件目录，但这种宽范围的磁盘扫描还是比较少见的。
　　但是，如果表中的数据以及分区个数都非常大的话，执行这样一个包含有所有分区的查询可能会触发一个巨大的MapReduce任务。一个高度建议的安全措施就是将Hive设置为“strict(严格)”模式，这样如果对分区表进行查询而WHERE子句没有加分区过滤的话，将会禁止提交这个任务。用户也可以按照下面的语句将属性值设置为“nostrict(非严格)”：

严格：
hive> set hive.mapred.mode=strict;
非严格：
hive> set hive.mapred.mode=nonstrict

查看表存在的所有分区

hive> SHOW PARTITIONS tableName

如果表中现在存在很多的分区，而用户只想查看是否存储某个特定分区键的分区的话，用户还可以在这个命令上增加一个指定了一个或者多个特定分区字段值的PARTITION子句，进行过滤查询

hive> SHOW PARTITIONS employees PARTITION(country='US');
country=US/state=AL
country=US/state=AK
...hive> SHOW PARTITIONS employees PARTITION(country='US', state='AK');
country=US/state=AK

Hive 禁止提交大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)相关推荐

oracle 10g磁盘管理,Oracle 10g UNDO表空间过大导致磁盘空间不足的解决
在Oracle 10g数据库的应用中,出现了UNDO表空间过大导致磁盘空间不足而崩溃的现象(ORA-30036: unable to extend segment by 8 in undo table ...
php 表单提交文件大小,PHP如何通过表单直接提交大文件详解
PHP如何通过表单直接提交大文件详解前言我想通过表单直接提交大文件,django 那边我就是这么干的.而对于 php 来说,我认为尽管可以设置最大上传的大小,但最大也无法超过内存大小,因为它无法把 ...
Hadoop+hive+flask+echarts大数据可视化项目之hive环境搭建与系统数据的分析思路
Hadoop+hive+flask+echarts大数据可视化项目(四) --------------hive环境搭建与系统数据的分析思路---------------- 关注过Hadoop+hive ...
Hadoop+hive+flask+echarts大数据可视化项目之flask结合echarts前后端结合显示hive分析结果
Hadoop+hive+flask+echarts大数据可视化项目(五) ------flask与echarts前后端结合显示hive分析结果------- 关注过Hadoop+hive+flask+ ...
10大Web漏洞扫描工具
Web scan tool 推荐10大Web漏洞扫描程序 Nikto 这是一个开源的Web服务器扫描程序,它可以对Web服务器的多种项目(包括3500个潜在的危险文件/CGI,以及超过900个服务器版 ...
【安全工具】全！十大Web漏洞扫描工具
十大Web漏洞扫描工具 Acunetix Web Vulnerability Scanner[( 简称AwVS ) AwVS是一款知名的Web网络漏洞扫描工具,它通过网络爬虫测试你的网站安全,检测流行 ...
gnome硬盘分析_三款基于GUI和终端的实用Linux磁盘扫描工具
[51CTO.com快译]扫描计算机硬盘主要出于两个原因:一个原因是分析硬盘,找出文件系统的不一致或错误.引起这些问题的可能因素包括:持续的系统崩溃,关键的系统软件关闭不当,更主要的是破坏性程序(比如 ...
如何使用robots禁止各大搜索引擎爬虫爬取网站
如何使用robots禁止各大搜索引擎爬虫爬取网站一.总结一句话总结:假如此网站禁止爬虫抓取,那么,只要在网站的根目录下,创建一个robots.txt文件 User-agent: * Disallo ...
git提交大文件的解决方法
git提交大文件的解决方法参考文章: (1)git提交大文件的解决方法 (2)https://www.cnblogs.com/perryxiong/p/5606525.html 备忘一下.

Hive 禁止提交大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)

Hive 禁止提交大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)相关推荐

最新文章

热门文章

Hive 禁止提交 大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)

Hive 禁止提交 大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)相关推荐

最新文章

热门文章

Hive 禁止提交大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)

Hive 禁止提交大范围磁盘扫描任务(禁止提交where条件包含未分区过滤)相关推荐