hive数据库的哪些函数操作是否走MR

2024-05-10 11:18:23

平时我们用的HIVE 我们都知道 select * from table_name 不走MR 直接走HTTP

hive 0.10.0为了执行效率考虑，简单的查询，就是只是select，不带count,sum,group by这样的，都不走map/reduce，直接读取hdfs文件进行filter过滤。这样做的好处就是不新开mr任务，执行效率要提高不少，但是不好的地方就是用户界面不友好，有时候数据量大还是要等很长时间，但是又没有任何返回。

改这个很简单，在hive-site.xml里面有个配置参数叫

hive.fetch.task.conversion

将这个参数设置为more，简单查询就不走map/reduce了，设置为minimal，就任何简单select都会走map/reduce

造200W数据格式为

下面验证下like是否走MR

1、等值比较: =

select * from tp_200w_test where name='测试 '-等值条件下 --不走MR

2、模糊比较: LIKE

1）百分号在后面

select * from tp_200w_test where name like '测%' and address like '江苏%' --不走MR

2）百分号在前面

select * from tp_200w_test where name like '%试' --不走MR

3）百分号在2边

select * from tp_200w_test where address like '%物联%' --不走MR

4)百分号加中间

select * from tp_200w_test where address like '%物%联%' --不走MR

3、不等值比较: <>

select * from tp_200w_test where id <>1 --不走MR

4、小于比较:< ,大于比较> 小于等于<= 大于等于>=

select * from tp_200w_test where id <2 --不走MR

select * from tp_200w_test where id >2 --不走MR

select * from tp_200w_test where id >=2 --不走MR

select * from tp_200w_test where id <=2 --不走MR

5、空值判断is null, is not null

select * from tp_200w_test where id is null --不走MR

select * from tp_200w_test where id is not null --不走MR

6、JAVA的LIKE操作: RLIKE

select * from tp_200w_test where id rlike '^f.*r$' --不走MR

对于集合统计函数

1） count，sum ,min ,avg ,max 函数 都走MR，不在一一写

转载于:https://www.cnblogs.com/staryea/p/8570538.html

hive数据库的哪些函数操作是否走MR相关推荐

2021年大数据Hive（三）：手把手教你如何吃透Hive数据库和表操作（学会秒变数仓大佬）
全网最详细的Hive文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录系列历史文章前言 Hive数据库和表操作一.数据库操作 1.创建数据库 2.创建 ...
华为GAUSS数据库常用的单行操作函数介绍
在这篇博客里面,主要是介绍华为高斯数据库,繁多的数据类型里面,常用的函数操作的方法,然后给大家写了每个函数的用法举例,欢迎留言补充. 字符串函数 trim() :去除字符串左右两边的指定字符,默认是去 ...
使用内置函数操作数据库
0.视频:http://www.imooc.com/video/3383 1.笔记: ContentValues: 1)用于存储一组可以被ContentResolve处理的值: 2)代码示例: Con ...
大数据学习笔记34：Hive - 数据库与表操作
文章目录一.准备工作 1.启动Hadoop 2.启动Hive 二.数据库操作 1.创建数据库 2.查询数据库 (1)显示全部数据库 (2)查询满足条件的数据库 3.修改数据库信息 (1)给数据库添加 ...
微信小程序云函数操作云数据库Mysql
微信小程序云函数操作云数据库Mysql 参考一参考二云函数是一段运行在云端的代码,无需管理服务器,在开发工具内编写.一键上传部署即可运行后端代码. 小程序内提供了专门用于云函数调用的 API.开发 ...
记一次微信小程序云函数操作Mysql数据库
一.前因在制作课程设计的时候需简单地操作Mysql数据库使得小程序可以与其他端系统进行数据交互这时候问题来了,仅仅只是因为一个插入表的数据库操作就单独制作一个Servlet看似又有点浪费服务器资源 ...
mysql数据库in函数查询是否走索引
mysql数据库in函数查询是否走索引? IN 通常是走索引的,当IN后面的数据在数据表中超过30%的匹配时是全表的扫描,不会走索引,因此IN走不走索引与后面的数据量有关系! 昨天恰好在工作中遇到了这 ...
oracle 数据库ceil,Oracle数据库中ceil函数的操作方案
以下的内容主要介绍的是Oracle数据库中ceil函数的求比某个数大的最小整数的实际应用的相关介绍,以下就是文章对其的实际的相关操作的具体介绍. 望你浏览完以下的内容会有所收获. SQL>sel ...
uniCloud 云函数操作云数据库
uniCloud 云函数操作云数据库增删改查前言一.连接数据库拿到表集合二.使用步骤 1.写入数据 2.引用doc() 2.1 修改数据方法一: doc.set() 2.2 修改数据方法二: d ...

最新文章

热门文章