背景

做kylin 的时候，执行了 hive的命令，是hive数据的重新分布

结果在reduce的时候阻塞了。

查看原因为

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs

这个问题出现的背景是：商品表 txt文件 5.4G 一共1亿数据
类别表 17M 100万条数据

临时解决办法是将hadoop/etc/hadoop 下的mapred-site.xml增加如下property。（系统默认是60s，此处是80s）

<property><

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs相关推荐

在Hadoop 2.3上运行C++程序各种疑难杂症（Hadoop Pipes选择、错误集锦、Hadoop2.3编译等）
首记感觉Hadoop是一个坑,打着大数据最佳解决方案的旗帜到处坑害良民.记得以前看过一篇文章,说1TB以下的数据就不要用Hadoop了,体现不出太大的优势,有时候反而会成为累赘.因此Hadoop的使 ...
hive 查看 job 日志_日均TB级数据，携程支付统一日志框架
一.背景支付中心作为携程集团公共部门,主要负责的业务包括交易.实名绑卡.账户.收单等,由于涉及到交易相关的资金流转以及用户实名认证,部分用户操作环节的中间数据应内控/审计要求需要长时间保存.当前研发 ...
hadoop中使用hprof工具进行性能分析
在编写完成MapReduce程序之后,调优就成为了一个大问题.如何使用现有工具快速地分析出任务的性能? 对于本地的java应用程序,进行分析可能稍微简单,但是hadoop是一个分布式框架,MapRed ...
hadoop报错总结01_李孟_新浪博客
1.进行矩阵计算的时候,由于持续时间长,往往会出现超时的错误,错误内容如下: INFO mapreduce.Job: Task Id : attempt_1422500209602_0008_m_00 ...
HiveQL中如何排查数据倾斜问题
原文:https://blog.csdn.net/u012151684/article/details/77074356 如果某个key下记录数远超其他key,在join或group的时候可能会导致某 ...
Hive 数据倾斜问题定位排查及解决（实战）
多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例.当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措. 今天我们不扯大篇理论,直接以例子来实践,排查 ...
Hive 数据倾斜问题定位排查及解决(实际案例)
多数介绍数据倾斜的文章都是以大篇幅的理论为主,并没有给出具体的数据倾斜案例.当工作中遇到了倾斜问题,这些理论很难直接应用,导致我们面对倾斜时还是不知所措. 今天我们不扯大篇理论,直接以例子来实践,排查 ...
SSLGET ×××综合实验题
SSL&GET ×××综合实验题 1.网络拓扑 2.网络需求 KS与Inside1.Inside2.DMZ2建立GET ×××,ASA对外提供SSL ×××. 3.具体配置 KS: ip do ...
Linux 服务器安全技巧
毋庸置疑,对于系统管理员,提高服务器的安全性是最重要的事情之一.因此,也就有了许多针对这个话题而生的文章.博客和论坛帖子. 一台服务器由大量功能各异的部件组成,这一点使得很难根据每个人的需求去提供定制 ...

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs

背景

AttemptID:attempt_1557891872692_0001_r_000000_0 Timed out after 3600 secs相关推荐

最新文章

热门文章