jdbc 生成建表语句_记录一次TDH的inceptor导出建表语句和数据
TDH是星环公司的一款大数据组件聚合平台,类似于CDH,但是TDH将一些组件自己做了封装,比如hive重新封装成了inceptor,公司的TDH测试环境要下线,需要备份inceptor中的数据,现在分步做一次记录:
1.TDH的各个组件都是安装在docker容器的,命令行无法直接使用,我们需要在客户端界面下载TDH Client包,包取决于你安装的组件,意味着你每次添加或者删除组件都需要重新下载这个包;
下载客户端
2.将客户端上传到TDH随便一台服务器节点,解压;
将tar包解压缩为TDH-Client目录
3.进入解压缩的目录后,你安装的各个组件的命令行客户端便都可以看到了
TDH-Client目录结构
但是使用还要进入对应的目录,不方便,这里需要对客户端进行初始化,执行脚本
source /opt/software/TDH-Client/init.sh
注意这里必须使用source执行脚本,其他方式执行不起作用,执行完这个脚本我们便可以正常使用TDH的常用命令了;
4.inceptor的文档没具体介绍数据导出,但是我们可以类比于hive,毕竟他们算得上是一个东西,但是这里有一个小坑,hive是可以直接将数据导出到本地文件的,inceptor我试了一下,会报路径不匹配的错误,证明无法直接从hive导出到本地{当然也无法直接把本地数据直接导入到hive,但是他的文档里面说是可以,最初当如数据时了来回折腾。。。},这里我们先获取我们要导出hive库以及表名:
beeline -u jdbc:hive2://localhost:10000 -e "use awp;show tables;" > tables2.txt
命令执行完毕后vim tables2.txt看一下,发现格式是这样的:
坑逼的格式
一脸懵逼,加上vim玩的也不溜,没有什么骚操作,最后乖乖的show tables;然后复制到windows,改巴改巴粘贴到tables.txt,到此表名获取到了→_→
5.接下来是获取建表语句,基本语句是show create table;在这个基础上编写简单脚本获取所有的表结构,脚本如下
#!/bin/bash
source /opt/software/TDH-Client/init.sh
#beeline -u jdbc:hive2://localhost:10000 -e "use awp;show tables;" > tables2.txt
cat tables2.txt|while read eachline
do
beeline -u jdbc:hive2://localhost:1000 -e "use awp;show create table $eachline" >> tablesDDL.txt
echo ";" >> tablesDDL.txt
done
不过输出的格式请参照获取表名,太坑,后来还是将文件下载到windows各种Ctrl +R,最后搞定;
6.现在说一下前面说到的inceptor的小坑,由于他不可以直接将数据导出到local file,所以采用迂回的方式,先将数据导出到hdfs,在导出到本地,这里我们还是简单编写一个脚本:
#!/bin/bash
source /opt/software/TDH-Client/init.sh
cat tables2.txt|while read eachline
do
beeline -u jdbc:hive2://localhost:10000 -e "INSERT OVERWRITE DIRECTORY '/tmp/hive/$eachline' ROW format delimited fields terminated BY '\t' SELECT * from awp.$eachline;"
done
将所有数据导出到hdfs的/tmp/hive的目录下;
7.最后通过hdfs dfs -get /tmp/hive /root/ 将文件下载到服务器的/root/目录下,然后将数据打包 tar -zcvf /root/hive 存储。
jdbc 生成建表语句_记录一次TDH的inceptor导出建表语句和数据相关推荐
- python建站部署_记录一下自己的建站过程(四)MongoDB与Pymongo
前言 以前我在看关于架设网站的相关帖子时,就觉得为什么他们非得用数据库?我在课堂里学的数据库不就是一个存储和读取数据的外部系统么,理论上,不使用数据库也能架设网站的.然而,各大云计算平台,鸟哥的lin ...
- 云主机建mysql数据库_什么是云服务器的mysql自建从库
什么是云服务器的mysql自建从库 发布时间:2020-06-02 17:59:14 来源:51CTO 阅读:204 作者:三月 不知道大家之前对类似什么是云服务器的mysql自建从库的文章有无了解, ...
- 云服务器建站原理_第一篇博客---阿里云服务器建站过程(小菜鸟的第一次尝试)...
最近学习了前后端的相关技术,就想租一个服务器试一下,玩一玩,简单了解了一下阿里云的服务器,简单介绍一下: 一:什么是云服务器ECS 是阿里云产品体系中,最基础的计算服务,通常用作应用程序的运行环境,最 ...
- dbeaver导出建表语句_细致入微:如何使用数据泵导出表的部分列数据
编者按 云和恩墨大讲堂社群(本文底部有入群方式)里有人提出一个需求:一张表数据量很大,如何只导出其中一部分列?云和恩墨CTO.Oracle ACE总监.ACOUG核心专家杨廷琨老师使用了数据泵的方式, ...
- jdbc 自增id 原理_面试被问分布式ID怎么办? 滴滴(Tinyid)甩给他
点击" 程序员内点事 "关注,选择" 设置星标 " 坚持学习,好文每日送达! 引言 接着<一口气说出 9种 分布式ID生成方式,面试官有点懵了>来继 ...
- 个人建站过程全记录【概述】
最近,将花费了两个多月的网站上线了,除了工作,剩余的时间就花在了建网站上.这个过程,还是耗时耗力的.因为作为一个只是访问过网站的人,对于网站的搭建可以说是完全不了解.以前在学校,老师教的C/S,B/S ...
- 2维照片生成3维模型_如何使用2维模型跟踪状态
2维照片生成3维模型 Application databases are generally designed to only track current state. For example, a ...
- 十年再出发!阿里云智能总裁张建锋演讲全记录
3月21日,"十年再出发"阿里云峰会于国家会议中心正式召开.阿里云智能总裁张建锋(行癫)携核心管理团队首次悉数亮相,并对阿里云做了全面的战略解读.以下是演讲全文. 张建锋:今天是我 ...
- 网页模板快速建站工具_自助建站相对传统建站有什么优势 - 建站极速通
与传统建站相比,建站极速通具备以下优势: 1.建站速度快,五分钟即可快速搭建一个网站,支持多站点随时操作更改:传统建站约2个月左右,建站编辑网页门槛较高. 2.千套精美自适应网站模版不断增加中,还有全 ...
- mysql建表测试_总结MySQL建表、查询优化实用小技巧
MySQL建表阶段是非常重要的一个环节,表结构的好坏.优劣直接影响着后续的管理维护,赶在明天上班前分享总结个人MySQL建表.MySQL查询优化积累的一些实用小技巧. 技巧一.数据表冗余记录添加时间与 ...
最新文章
- 华为鸿蒙系统手机销量,两个品牌助力华为新生,但最终会是谁拯救谁
- 国内技术原创氛围为什么那么差?记EAWorld(普元)是如何靠“借鉴”产出原创文章的!
- Windows Phone 7知识锦分享
- 【软件工程】数据流图初探
- Linux下的grep命令
- 手写自己的MyBatis框架-MapperProxy
- mysql 隔离级别 知乎_TiDB 事务隔离级别
- 扫描40亿可路由的 IPv4 地址后发现这些打印机的 IPP 端口遭暴露
- 华硕主板bios通电自启设置_求各种主板通电自动开启的设置?
- 最多添加3个标签,每个标签最长6字,空格或逗号隔开
- C++对象在内存中的布局
- Android入门笔记13
- xampp错误: mysql 非正常关闭._mysql数据库DBA实用技巧--为你的数据库开启Innodb监控...
- Saas项目和Pass项目
- android httpclient版本,Android studio使用http 没有 HttpClient
- 拉格朗日乘数法怎么判断极大极小_用拉格朗日乘数法求出极值后如何判断其是极大值还是极小值?...
- 黑月教主去水印软件_去除图片/视频去水印!这个软件可以帮助你!
- 电路杂谈——硬件经典面试题
- 接上篇手工课 材料:美女图片一张, 要求将其制成 边旋转边渐隐的魔幻图片
- “应用程序无法正常启动(oxc000007b)”解决方案