TDH是星环公司的一款大数据组件聚合平台,类似于CDH,但是TDH将一些组件自己做了封装,比如hive重新封装成了inceptor,公司的TDH测试环境要下线,需要备份inceptor中的数据,现在分步做一次记录:

1.TDH的各个组件都是安装在docker容器的,命令行无法直接使用,我们需要在客户端界面下载TDH Client包,包取决于你安装的组件,意味着你每次添加或者删除组件都需要重新下载这个包;

下载客户端

2.将客户端上传到TDH随便一台服务器节点,解压;

将tar包解压缩为TDH-Client目录

3.进入解压缩的目录后,你安装的各个组件的命令行客户端便都可以看到了

TDH-Client目录结构

但是使用还要进入对应的目录,不方便,这里需要对客户端进行初始化,执行脚本

source /opt/software/TDH-Client/init.sh

注意这里必须使用source执行脚本,其他方式执行不起作用,执行完这个脚本我们便可以正常使用TDH的常用命令了;

4.inceptor的文档没具体介绍数据导出,但是我们可以类比于hive,毕竟他们算得上是一个东西,但是这里有一个小坑,hive是可以直接将数据导出到本地文件的,inceptor我试了一下,会报路径不匹配的错误,证明无法直接从hive导出到本地{当然也无法直接把本地数据直接导入到hive,但是他的文档里面说是可以,最初当如数据时了来回折腾。。。},这里我们先获取我们要导出hive库以及表名:

beeline -u jdbc:hive2://localhost:10000 -e "use awp;show tables;" > tables2.txt

命令执行完毕后vim  tables2.txt看一下,发现格式是这样的:

坑逼的格式

一脸懵逼,加上vim玩的也不溜,没有什么骚操作,最后乖乖的show tables;然后复制到windows,改巴改巴粘贴到tables.txt,到此表名获取到了→_→

5.接下来是获取建表语句,基本语句是show create table;在这个基础上编写简单脚本获取所有的表结构,脚本如下

#!/bin/bash

source /opt/software/TDH-Client/init.sh

#beeline -u jdbc:hive2://localhost:10000 -e "use awp;show tables;" > tables2.txt

cat tables2.txt|while read eachline

do

beeline -u jdbc:hive2://localhost:1000 -e "use awp;show create table $eachline" >>  tablesDDL.txt

echo ";" >> tablesDDL.txt

done

不过输出的格式请参照获取表名,太坑,后来还是将文件下载到windows各种Ctrl +R,最后搞定;

6.现在说一下前面说到的inceptor的小坑,由于他不可以直接将数据导出到local file,所以采用迂回的方式,先将数据导出到hdfs,在导出到本地,这里我们还是简单编写一个脚本:

#!/bin/bash

source /opt/software/TDH-Client/init.sh

cat tables2.txt|while read eachline

do

beeline -u jdbc:hive2://localhost:10000  -e "INSERT OVERWRITE DIRECTORY '/tmp/hive/$eachline' ROW format delimited fields terminated BY '\t' SELECT * from awp.$eachline;"

done

将所有数据导出到hdfs的/tmp/hive的目录下;

7.最后通过hdfs dfs -get /tmp/hive  /root/      将文件下载到服务器的/root/目录下,然后将数据打包  tar -zcvf /root/hive  存储。

jdbc 生成建表语句_记录一次TDH的inceptor导出建表语句和数据相关推荐

  1. python建站部署_记录一下自己的建站过程(四)MongoDB与Pymongo

    前言 以前我在看关于架设网站的相关帖子时,就觉得为什么他们非得用数据库?我在课堂里学的数据库不就是一个存储和读取数据的外部系统么,理论上,不使用数据库也能架设网站的.然而,各大云计算平台,鸟哥的lin ...

  2. 云主机建mysql数据库_什么是云服务器的mysql自建从库

    什么是云服务器的mysql自建从库 发布时间:2020-06-02 17:59:14 来源:51CTO 阅读:204 作者:三月 不知道大家之前对类似什么是云服务器的mysql自建从库的文章有无了解, ...

  3. 云服务器建站原理_第一篇博客---阿里云服务器建站过程(小菜鸟的第一次尝试)...

    最近学习了前后端的相关技术,就想租一个服务器试一下,玩一玩,简单了解了一下阿里云的服务器,简单介绍一下: 一:什么是云服务器ECS 是阿里云产品体系中,最基础的计算服务,通常用作应用程序的运行环境,最 ...

  4. dbeaver导出建表语句_细致入微:如何使用数据泵导出表的部分列数据

    编者按 云和恩墨大讲堂社群(本文底部有入群方式)里有人提出一个需求:一张表数据量很大,如何只导出其中一部分列?云和恩墨CTO.Oracle ACE总监.ACOUG核心专家杨廷琨老师使用了数据泵的方式, ...

  5. jdbc 自增id 原理_面试被问分布式ID怎么办? 滴滴(Tinyid)甩给他

    点击" 程序员内点事 "关注,选择" 设置星标 " 坚持学习,好文每日送达! 引言 接着<一口气说出 9种 分布式ID生成方式,面试官有点懵了>来继 ...

  6. 个人建站过程全记录【概述】

    最近,将花费了两个多月的网站上线了,除了工作,剩余的时间就花在了建网站上.这个过程,还是耗时耗力的.因为作为一个只是访问过网站的人,对于网站的搭建可以说是完全不了解.以前在学校,老师教的C/S,B/S ...

  7. 2维照片生成3维模型_如何使用2维模型跟踪状态

    2维照片生成3维模型 Application databases are generally designed to only track current state. For example, a ...

  8. 十年再出发!阿里云智能总裁张建锋演讲全记录

    3月21日,"十年再出发"阿里云峰会于国家会议中心正式召开.阿里云智能总裁张建锋(行癫)携核心管理团队首次悉数亮相,并对阿里云做了全面的战略解读.以下是演讲全文. 张建锋:今天是我 ...

  9. 网页模板快速建站工具_自助建站相对传统建站有什么优势 - 建站极速通

    与传统建站相比,建站极速通具备以下优势: 1.建站速度快,五分钟即可快速搭建一个网站,支持多站点随时操作更改:传统建站约2个月左右,建站编辑网页门槛较高. 2.千套精美自适应网站模版不断增加中,还有全 ...

  10. mysql建表测试_总结MySQL建表、查询优化实用小技巧

    MySQL建表阶段是非常重要的一个环节,表结构的好坏.优劣直接影响着后续的管理维护,赶在明天上班前分享总结个人MySQL建表.MySQL查询优化积累的一些实用小技巧. 技巧一.数据表冗余记录添加时间与 ...

最新文章

  1. 华为鸿蒙系统手机销量,两个品牌助力华为新生,但最终会是谁拯救谁
  2. 国内技术原创氛围为什么那么差?记EAWorld(普元)是如何靠“借鉴”产出原创文章的!
  3. Windows Phone 7知识锦分享
  4. 【软件工程】数据流图初探
  5. Linux下的grep命令
  6. 手写自己的MyBatis框架-MapperProxy
  7. mysql 隔离级别 知乎_TiDB 事务隔离级别
  8. 扫描40亿可路由的 IPv4 地址后发现这些打印机的 IPP 端口遭暴露
  9. 华硕主板bios通电自启设置_求各种主板通电自动开启的设置?
  10. 最多添加3个标签,每个标签最长6字,空格或逗号隔开
  11. C++对象在内存中的布局
  12. Android入门笔记13
  13. xampp错误: mysql 非正常关闭._mysql数据库DBA实用技巧--为你的数据库开启Innodb监控...
  14. Saas项目和Pass项目
  15. android httpclient版本,Android studio使用http 没有 HttpClient
  16. 拉格朗日乘数法怎么判断极大极小_用拉格朗日乘数法求出极值后如何判断其是极大值还是极小值?...
  17. 黑月教主去水印软件_去除图片/视频去水印!这个软件可以帮助你!
  18. 电路杂谈——硬件经典面试题
  19. 接上篇手工课 材料:美女图片一张, 要求将其制成 边旋转边渐隐的魔幻图片
  20. “应用程序无法正常启动(oxc000007b)”解决方案

热门文章

  1. Qt_解决Qt5.15 + Xcode12iOS端qmake不可用的问题
  2. SpringMVC中解决POST和GET请求中文乱码问题
  3. 面向对象三大特性之——继承
  4. C/C++结构体语法总结
  5. 【安装记录】Centos7.6下载安装配置教程(十分详细)
  6. Ubuntu 安装fish
  7. 车牌识别opencv_基于OpenCV 的车牌识别
  8. 记录免费的学习资源-视频教程
  9. C语言流程图生成器的具体操作流程是什么,分享绘制C语言流程图方法
  10. 最详细的JavaScript高级教程(十一)正则表达式