参数调整 新部署rac_CDH5部署三部曲之三:问题总结
本文是《CDH5部署三部曲》的终篇,前面两章完成了CDH5集群的部署和启动,本章将实战中遇到的问题做个总结,如果碰巧您也遇到过这些问题,希望本文能给您一些参考;
系列文章链接
- 《CDH5部署三部曲之一:准备工作》
- 《CDH5部署三部曲之二:部署和设置》
启动集群服务报错
- 首次启动集群服务报错,如下图:
- 上述错误一般是对应节点的/usr/java/default目录下没有JDK所致,假设已将JDK部署在/usr/lib/jvm/jdk1.8.0_191,那么只需执行以下命令建立软链接即可:
mkdir /usr/java &&ln -s /usr/lib/jvm/jdk1.8.0_191 /usr/java/default
- 点击页面上的重试按钮;
NFS Gateway启动失败
- 发现NFS Gateway服务有问题,检查日志:
- 日志如下,在worker1节点上,portmap和rpcbind这两个服务不存在导致的:
No portmap or rpcbind service is running on this host. Please start portmap or rpcbind service before attempting to start the NFS Gateway role on this host.
- 于是安装所需服务:
yum install -y nfs-utils rpcbind
- 启动服务:
systemctl start rpcbind
- 再次启动:
- 等待HDFS服务重启完成后,如下图,可见NFS Gateway问题已经消失:
HDFS副本不足的块
- 问题如下图绿框所示:
- 目前只有一个datanode,可以增加一个,如下图,进入HDFS的实例页面,点击"添加角色实例":
- 点击下图红框位置,增加一个DataNode:
- 如下图,确保worker1和worker2都选上:
- 勾选后,点击红框2中的按钮,在下拉菜单中点击“启动”:
- 现在有了两个DataNode,所以副本数可以设置为2,如下图红框所示,按照顺序找出参数进行设置,记得点击右下角的"保存更改"按钮:
- 上述设置完成后,新写入hdfs的文件副本数为2,如果要将之前已经写入的文件的副本数也调整为2,请SSH登录worker1节点,执行以下命令切换到hdfs账号:
su - hdfs
- 以hdfs账号的身份执行以下命令,即可完成副本数设置:
hadoop fs -setrep -R 2 /
- 返回管理页面,可见HDFS的状态变成了健康:
Hive报错
- 如下图红框所示,Hive启动失败,日志中提示Version information not found in metastore
- 从上图可见Hive服务在worker2上,于是SSH登录worker2,将/usr/share/java目录下的mysql-connector-java.jar文件复制到这个目录下:/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/lib/hive/lib/
- 在Hive的配置页面,搜索"hive.metastore.schema.verification",如下图,确保红框3中的复选框取消勾选:
- 修改配置datanucleus.autoCreateSchema,如下图,确保红框3中的复选框被选中:
- 重启完成后,Hive状态为健康:
spark-shell执行失败
- 在worker1或者worker2上执行spark-shell命令进入spark控制台时,会产生内存相关的错误,需要调整YARM相关的内存参数:
- 在YARN的配置页面,调整yarn.scheduler.maximum-allocation-mb和yarn.nodemanager.resource.memory-mb这两个参数的值,原有的值都是1G,现在都改成2G,如下图:
- 重启YARN;
- 重启Spark;
- 执行spark-shell命令之前,先执行命令su - hdfs切换到hdfs账号;
- 这次终于成功进入spark-shell交互模式:
Hue启动失败
- Hue启动失败如下图:
- 上述失败是由于文件夹、文件、httpd服务没有准备好导致的,执行以下命令修复此问题:
mkdir /var/log/hue-httpd/chown hue:hue /var/log/hue-httpd/cd /var/log/hue-httpd/touch error_logchown hue:hue /var/log/hue-httpd/error_log
yum install -y httpd mod_ssl cyrus-sasl-plain cyrus-sasl-devel cyrus-sasl-gssapi
- 在网页上重启Hue服务,稍后可见服务已经正常:
以上就是本次实战过程中遇到的所有问题和解决方法,至此《CDH5部署三部曲》全部完成,如果您正在部署CDH,希望此系列文章能给您一些参考。
参数调整 新部署rac_CDH5部署三部曲之三:问题总结相关推荐
- 参数调整 新部署rac_开工的欲望 | AI Studio悄然上线新功能,用你的模型生成在线预测服务...
开工第一天,小伙伴们是不是还没有从过年的状态转换过来?今天给大家介绍一个AI Studio新功能,能让大家用自己训练好的模型,轻松生成在线预测服务,通过在线API调用,而且是免费的哦~ 大家是不是已经 ...
- 参数调整 新部署rac_详解Oracle数据库RAC架构性能优化--参数设置+优化设计
概述 ORACLE RAC凭借其卓越的容错能力和可扩展性以及对应用透明的切换能力引领了数据库高可用架构的潮流,但在实际的生产环境中,出现的性能问题非常多,对数据库的稳定性产生很大的影响,有一些甚至影响 ...
- 参数调整类毕业论文文献都有哪些?
本文是为大家整理的参数调整主题相关的10篇毕业论文文献,包括5篇期刊论文和5篇学位论文,为参数调整选题相关人员撰写毕业论文提供参考. 1.[期刊论文]基于自适应参数调整的航空电源车电力稳定控制方法 期 ...
- 将新主要功能部署到生产时要考虑的5件事情
前言 在较短的时间内完成从开发人员的机器到生产的功能的代码,是高效的技术/工程团队的质量.使用capistrano或fabric等工具进行自动部署使得部署成为一项简单的任务,而不是可怕的操作,在这种情 ...
- 新浪sae部署微信订阅号
利用新浪sae部署python开发微信订阅号登录新浪sae网站,用微博帐号登录或者注册帐号http://www.sinacloud.com/选择左上角控制台的云应用sae 选择创建新应用 按照要求创建 ...
- 记一次完整的新浪云部署nodejs项目上线完整流程及填坑处理!
工欲善其事,必先利其器.在开始本次部署新浪云nodejs项目之前,请先做好以下准备工作: 1.注册一个新浪微博账号! 2.使用注册好的新浪微博账号,登录新浪云网站:http://www.sinaclo ...
- 微信开发实战(4)—URL、Token认证、java源码、免费新浪SAE部署
上篇文章概要介绍了微信公众号开发的原理,偏重于讲解理论. 本篇文章通过java web应用实现微信公众号的URL.Token认证.并部署到免费的新浪SAE服务器上,轻松教你实现公众号成为开发者号. 一 ...
- 普元部署包部署找不到构建_让我们在5分钟内构建和部署AutoML解决方案
普元部署包部署找不到构建 Practical machine learning used to be hard - and still is in some specialized areas. Av ...
- 使用GridSearchCV和RandomizedSearchCV进行超参数调整
In Machine Learning, a hyperparameter is a parameter whose value is used to control the learning pro ...
最新文章
- unity3d读取android文本文件,职场小白求助Unity项目Android端读取CSV文本问题
- 8.初探python之集合
- 第一百三十八期:37 个MySQL数据库小知识,为面试做准备
- python网页开发好用吗_推荐用于Web开发的最好 Python 框架
- aptitude 命令_C-命令行参数Aptitude问题与解答
- C语言实现tolower
- 4/2上海DevDays2004
- Qt绘制形状不规则窗口(二)
- pro git学习笔记 4
- NLP—4.如何阅读paper
- Pspice仿真模型创建
- 为N台linux服务器传输大文件
- 文明与征服汉尼拔阵容技能推荐
- MacOS Ventura 13.0 Beta2 (22A5286j) 带 OC 0.8.2 三分区原版黑苹果镜像
- Can only install one of: topthink/think-installer[v2.0.0, v1.0.12].
- Typora使用方法简单总结
- 《Text Mining and Analytics》学习笔记——第一周
- hadoop3 Yarn容量(Capacity Scheduler)调度器和公平(Fair Scheduler)调度器配置
- 神马笔记 版本2.0.0——新的旅程
- mysql启动数据库进程_MySQL数据库启动报错的处理