TDH大数据平台的卸载与重装

本文目录

前言
TDH 集群卸载
TDH集群卸载后的重装
haproxy问题总结

前言

大家好，我是明哥！
前段时间写过一篇博文关于TDH 集群的许可证管理机制及TDH集群的卸载与安装的博文。
TDH 集群的许可证管理机制及TDH集群的卸载与安装

该片博文的核心意思如下：

星环的tdh大数据平台执行了严格的许可证管理机制，当集群的许可证到期后，集群及集群中的关键服务如hdfs/inceptor等将不能再进行重启，无法正常对外提供服务。所以集群管理员需要提前规划时间，及时向星环官方申请许可证续期。
不过对于依托最终客户名义，多次续期的开发或测试集群，星环官方对续期申请可能会冷处理不做任何响应。此时，我们可选的一个方案是，将tdh集群卸载后再进行重装。
如果原集群中还有hdfs/inceptor等数据需要保留，需要通过distcp和mysqldump等工具借助一个第三方集群备份数据，待新集群安装完毕后再从第三方集群的备份数据中恢复数据。

本此我司一个产品部的 TDH 开发集群到期，inceptor 服务无法继续使用。于是产品部找到笔者来协助卸载与重装该集群，并声明原集群中的数据可以删除。笔者按照上述博文中的步骤进行操作，前后历史四个小时左右，新集群就OK了。

在此记录下卸载与重装过程中的一些小问题，供由相同需求的小伙伴们参考。更多细节请参考上述博文。

TDH 集群卸载

TDH集群的卸载，按照上述博文进行操作即可。有以下几个细节需要注意：

该卸载脚本执行后，可能会有些没有删除成功的目录或文件，需要根据日志提示手动执行相应的命令进行删除；
该卸载脚本不会删除磁盘上license相关目录和文件，需要执行命令手动删除下license相关目录和文件，否则再次安装TDH集群后，仍会检测并使用旧的 LICENSE 数据，仍会报集群许可证过期错误：
- mount | grep transwarp/mounts | awk ‘{print $3}’| xargs umount
- rm -rf /mnt/disk1/Hadoop
- rm –rf /hadoop/namenode_dir
- rm -rf /transwarp/mounts
- rm –rf /var/manager/zookeeper
- rm –rf /var/license
- rm –rf /var/zookeeper1
该卸载脚本 uninstall.sh 可以重复执行；

关于该脚本的说明，也可以查看TDH官方如下博文：
http://support.transwarp.cn/t/topic/1633

TDH集群卸载后的重装

TDH集群卸载后的重装，参考上述博文即可。有以下几个细节需要注意：

安装过程中，需要正确配置 DNS, NTP, 和可用的rpm repo；
从安装日志中可以看出，安装时在底层使用 yum命令从配置的 rpm repo 库安装了多个服务，一些关键的服务如下：
- installing : docker-tos-1.0-1.el7
- Installing : docker-compose-tos-1.0-1.el7
- Installing : hyperkube-tos-1.0-1.el7
- Installing : etcd-tos-1.0-1.el7
TDH安装完毕后会自动启动 TSO, TOS是星环开发的基于Docker和Kubernetes的云操作系统，用来管理TDH集群；
TOS的正常运作，需要依赖 haproxy，通过删除与重装的方式安装 TDH 时，底层的 haproxy 服务很容易出错，造成 TOS 无法正常启动，整个集群也无法正常启动。
笔者在这次卸载与重装过程中，遇到的唯一一个比较耗时间的地方，就是 haproxy 问题的修复，其修复方式是：
- 卸载并重装haproxy：yum erase/remove -y haproxy && yum install -y haproxy；
- 手动修改haproxy使用星环的配置文件/etc/tos/conf/haproxy.cfg，而不是默认的/etc/haproxy/haproxy.cfg（需要修改/usr/lib/systemd/system/haproxy.service）；
- 然后执行Systemctl daemon-reload 重新加载最新的harpxy;
- 然后重启 haproxy: systemctl restart haproxy;

haproxy问题总结

tdh的正常运行依赖haproxy的正常运行（Tdh安装时底层会自动安装haproxy）；
如果haproxy运行失败，可以采取卸载并重新安装的方式来修复；
可以使用命令 Journalctl –u haproxy 常看haproxy相关日志；
HAPROXY 重新安装后，需要确认下底层/usr/lib/systemd/system/haproxy.service使用的配置文件是星环的/etc/tos/conf/haproxy.cfg 而不是默认的/etc/haproxy/haproxy.cfg；
haproxy修改底层的配置文件后，需要先执行命令 systemctl daemon-reload 重新加载最新的harpxy，然后再重启 haproxy: systemctl restart haproxy;

！关注不迷路~ 各种福利、资源定期分享！欢迎小伙伴们扫码添加明哥微信，后台加群交流学习。

TDH大数据平台的卸载与重装相关推荐

搭建TDH商业大数据平台社区版（附其他主流商业大数据平台下载汇总）
大数据核心原理与实践专栏说明: TDH社区版还挺好用的,无限量续签许可证,如果大家只是想玩玩儿大数据平台,或者刚入行大数据想练手,那么TDH社区版就够用了,避免了你前期安装一系列Hadoop组件的麻 ...
anaconda在ubuntu中安装后没有_你的大数据平台中病毒了！！！记一次HDP安装后中dr.who病毒并修复的过程...
有些事还是经历过了才知道"小心驶得万年船"的道理啊.最近笔者帮一个客户安装HDP2.6.5版本的大数据平台,最重要的是,这次安装的背景是生产环境的云平台迁移,不是普通的开发阶段或者 ...
大数据平台CDH搭建
一.概述 Cloudera版本(Cloudera's Distribution Including Apache Hadoop,简称"CDH"),基于Web的用户界面,支持大多数H ...
内蒙农信携手星环科技建设农信大数据平台，激活金融业务创新
背景内蒙古自治区农村信用社联合社(简称"内蒙农信")经过多年的信息化建设,目前投产使用的信息化系统近100套,产生了大量的数据.该社于2019年采用MPP架构的分布式数据库,实现 ...
大数据平台Ambari2.7.4+HDP3.1.4安装(超详细教程)
大数据平台Ambari2.7.4+HDP3.1.4安装(超详细教程) Ambari2.7.4+HDP3.1.4是最后一个免费版本,新版本需要授权. 因工作需要,安装大数据集群,了解到Ambari属于A ...
美创科技与星环科技大数据平台完成兼容互认证！
近日,杭州美创科技有限公司(简称:美创科技)旗下数据脱敏产品与星环信息科技(上海)有限公司旗下星环大数据平台TDH完成产品兼容互认证.测试结果显示,双方产品相互兼容,可以顺利安装.配置,整体运行稳定, ...
中国邮政大数据平台建设之总体架构与实现
摘要:通过对数据处理阶段性发展的解析,分析大数据.人工智能技术的发展趋势.结合实际生产需求,验证了基于容器云架构的新一代大数据与人工智能平台在数据分析.处理.挖掘等方面的强大优势. 关键词:大数据人 ...
大数据平台HDP-2.6.4 安装与配置
一:关于HDP的介绍二:系统环境介绍三:系统环境初始化四:安装HDP-2.6.4平台五:启用NameNode HA 与 YARN HA 一:关于HDP的介绍 1.1:hdp是什么 HDP全称叫 ...
华为徐兴海、区波：面向业务创新的大数据平台及商业实践
摘要:BDTC 2015全体会议上午最后一场由华为IT产品线大数据解决方案规划总监徐兴海和华为电信软件大数据首席技术规划区波共同完成,期间他们表示,华为正在以平台牵引应用和服务合作的方式致力于大数据生 ...