《饮食男女》开头说：“人生不能像做菜，把所有的料都准备好了才下锅。”

但做大数据挖掘不一样，MapReduce 不同于人生，一定要把准备工作做好了，才能顺利运行后面的步骤。如果你的 HiveQL 代码没毛病，却一运行就出现 Fail 提示，可以看看，是不是少了下面哪项准备工作？

指定队列

set mapred.job.queue.name=queue01; //自己指定一个队列

在 HADOOP 中，队列的组织是一切的基础，决定了队列管理和资源分配，一定要在程序开头指定一个队列，注意任务和资源的平衡。

自动化 MapJoin

set hive.auto.convert.join=true;

这是一步优化操作，自动化了 MapJoin，之后我们就不需要在 query 中再写了。MapJoin 用于小表 Join 大表的场景，在大表通过 Mapper 时，小表会被完全放入内存中，Hive 会在 map 端进行连接，因为 Hive 可以和内存中的小表进行逐一匹配，从而省略掉 reduce 过程。

任务并行

set hive.exec.parallel=true;
set hive.exec.parallel.thread.number=100;

参数 hive.exec.parallel 控制着同一个 sql 中是否允许并行执行，默认为 false，设置为 true 则开启任务的并行执行。并通过设置 hive.exec.parallel.thread.number 来指定同一个 sql 允许并行运行的最大线程数。

设置超时时间

set mapred.task.timeout=600000000;

这里设置的是 Job 运行多久后会因超时而被 kill 掉，根据数据量而定。我目前工作中处理的数据有上亿条，维度近千，所以设置得比较大。

“健康监测”

set mapred.healthChecker.script.timeout=600000000;

这个参数的作用是，若检测到脚本在一定时间内无响应，那么 NodeHealthCheckerService 线程会将该节点的监控状态标注为 “unhealthy”。但 Hadoop 2.x 以后，参数 mapred.healthChecker.script.timeout 的名字已经改为 mapreduce.tasktracker.healthchecker.script.timeout，虽然原名还可用，最好还是使用新的参数名。

设置容量大小

set hive.tez.container.size=10240;

Tez 是 YARN 的作业模式，hive.tez.container.size 参数可设置堆的大小，即增大内存容量。由于 D12 计算机具有 28GB 内存，因此我们常使用 10GB (10240MB) 大小的容器。

设置聚集操作执行时机

set hive.map.aggr=false;

若将该参数设置为 true，则会在 mapper 端先进行 group by，然后执行 merge 操作，减少 reduce 要处理的数据量，效率更高但需要更多内存。若将该参数设置为 false，则把前面的步骤放在了 reduce 阶段再进行。

设置 reduce 个数

set mapred.reduce.tasks=500;

该参数用于设置 reduce 的任务个数，设置为500，即生成500个文件。根据具体数据量进行调整，使得单个 map 能处理合适的数据量。

在海量数据真正跑起来前，一般需要设置的几个参数就是以上提到的啦，具体每个参数需要设置成什么值，还要根据具体的数据量和时间、设备等条件来定，可以反复尝试进行优化。

欢迎关注我的知乎专栏【数据池塘】，专注于分享机器学习、数据挖掘相关内容：https://zhuanlan.zhihu.com/datapool

⬇️ 扫描下方二维码关注公众号【数据池塘】 ⬇️

回复【算法】，获取最全面的机器学习算法网络图：

我的 Hive 为什么跑不起来/跑得慢？看看是不是少了这几行代码？相关推荐

mapreduce复制连接的代码_我的 Hive 为什么跑不起来/跑得慢？看看是不是少了这几行代码？...
<饮食男女>开头说:"人生不能像做菜,把所有的料都准备好了才下锅." 但做大数据挖掘不一样,MapReduce 不同于人生,一定要把准备工作做好了,才能顺利运行后面的步 ...
代码内容变成图片_网站只剩25行代码，真有程序员“删库跑路”？
"可能我删了数据才会轻松吧可能我格了硬盘才会休息吧可能逃出了公司我就跑到天边可能我还没找到那个BUG--" 曾经,有一位程序员,在某个加班的深夜,一边听着<可能否&g ...
任务管理 linux指令qsub,Linux_前一个投的任务跑完再跑另一个任务_qsub_-hold_jid
Linux_前一个投的任务跑完再跑另一个任务_qsub_-hold_jid perl program_1.pl input_1.file output_1.file perl program_2.pl ...
兄弟们，快醒醒，我们的跑马灯不跑了。
销售GG在工作群里:"弟兄们,快醒醒,咱现场的跑马灯不跑了." 还在加班的程序猿:"已经查过了,程序没Bug." 带娃玩的硬件攻城狮:"硬件没问题,这 ...
晨跑、午后跑和夜跑对身体的影响及优缺点
一天跑两次步,晨跑与夜跑,对身体有好处的.好处如下: 1.养成易于燃脂的好体质有的人容易发胖的原因就在于平日运动不足,肌力下降,与其此消彼长的脂肪,更是肆无忌惮地积聚起来. 一般而言,跑步是一项有氧 ...
android wear悦跑圈,悦跑圈下载-悦跑圈安卓版v5.14.0-PC6安卓网
悦跑圈是一款健康类app,日周月排行榜,于嘉老师的语音提醒,简单易用实用人性化设计,加上社交. 功能介绍使用「悦跑圈」,为您开启全新的跑步生活! 这是最好玩的跑步者社区,让你一览跑者百态.靓照分享. ...
晚上跑步好吗？晨跑与夜跑利弊分析
健身房里跑步机上一沉不变的频率空乏无味,白天的城市街道车水马龙.人潮拥挤,于是万物尚未苏醒的清晨.伴随日落而回归平静的夜晚就成了跑步爱好者们最为钟爱的"活动"时间.无论是对于上班族 ...
android wear悦跑圈,悦跑圈下载_悦跑圈安卓版app下载_手心游戏
跑步就用「悦跑圈」,悦跑悦享跑,悦跑悦快乐. 这里有精准的数据记录工具,众多优秀跑者,丰富赛事活动.无论是跑步新手还是骨灰跑者,都能在这里找到属于你的圈子. •每日签:懂你每一天的心情悦跑日签,每天 ...
android wear悦跑圈,悦跑圈下载_悦跑圈app最新v3.2.1下载_游戏吧
悦跑圈是一款专业的运动健身软件,本作超过80%马拉松跑者都在用悦跑圈.无论是跑步新手还是骨灰跑者,都能在这里找到属于你的圈子.需要的快点下载吧. 悦跑圈v3.2.1特色: 跑步就用「悦跑圈」,悦跑悦享 ...

我的 Hive 为什么跑不起来/跑得慢？看看是不是少了这几行代码？