这两天在做数据的导入操作,为了方便数据的导入我们采用sqoop的方式将数据导入。但是在表很多的情况下,在hue当中部署工作流就是一件很麻烦的事情,

然后想着能不能通过shell脚本调shell脚本的方式实现在一个shell脚本当中就可以实现对多个导入操作脚本的调用。

操作脚本如下:

#!/bin/bash
#sh ./import_com_organization.sh
source ./import_com_organization.sh
#. ./import_com_organization.sh
echo "success"
exit 0  这三种方式都可以实现对数据的导入操作,我这里是使用oozie的方式实现对脚本的调度操作。下面这个是sqoop的导入脚本,这个可以自己按照自己的要求去编写

这里需要注意几个问题,在这里被调用的脚本必须和住脚本的路径一直。要不然一直报找不到路径,类似下面的这种找不到路径。这里我试了一下使用决绝路径都是不可以的,一直报路径或者文件存在。这设计真是不合理两个文件还必须在同一目录下面。

下面说一下这种脚本在hue当中部署oozie的具体操作;

(1)将写好的脚本主脚本和被调用的脚本上传到同一目录下:

(2)然后部署工作流

接下来在yarn上面我们能看到oozie启动的laucher和action操作。

等待执行完成之后。查看结果即可。

参考文档: https://blog.csdn.net/adshiye/article/details/84311890

转载于:https://www.cnblogs.com/gxgd/p/10221303.html

关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)...相关推荐

  1. Shell脚本自动源码包安装LA/NMP架构详解(赠软件包+脚本)

    脚本环境 1.linux centos 7 系统 2.光盘镜像文件已挂载 3.系统可连接外网 4.软件包下载链接 lamp 链接:https://pan.baidu.com/s/1x6PTj_aUN2 ...

  2. linux|shell脚本|有趣的知识---格式化输出日志和脚本调试方法以及kubernetes集群核心服务重启和集群证书备份脚本

    前言: shell脚本的功能十分强大,这一点毋庸置疑的.那么,平常的工作中总是免不了和脚本打交道,也免不了要自己编写一些脚本. 每个人都希望自己编写的脚本强壮,简单,易用,功能多,并且总是希望脚本运行 ...

  3. 【SA8295P 源码分析】53 - mifs.build.tmpl 脚本详解:启动QNX procnto-smp-instr微内核、启动QNX串口终端shell、加载解析并执行ifs2_la.img

    [SA8295P 源码分析]53 - mifs.build.tmpl 脚本详解:启动QNX procnto-smp-instr微内核.启动QNX串口终端shell.加载解析并执行ifs2_la.img ...

  4. arcgis python脚本实现从界面选择输入输出_arcgis python脚本实现从界面选择输入输出_ArcGIS Python编程案例(2)-使用ArcPy编写脚本......

    本章将涉及以下案例: 使用ArcGIS Python窗体 访问ArcPy 从脚本中执行工具 使用ArcGIS桌面软件帮助系统 使用变量存储数据 访问ArcPy中的模块 引言 地理处理任务往往是耗时且重 ...

  5. shell 输出数据到文本_Linux运维工程师从基础到进阶:Shell变量知识梳理

    Shell是一个用C语言编写的程序,它是用户使用Linux的桥梁.Shell既是一种命令语言,又是一种程序设计语言,涵盖的知识点多且杂,却是云计算开发人员必须要掌握的技术之一.接下来的广州云计算培训小 ...

  6. python shell下载很慢_Python踩坑之旅其一杀不死的Shell子进程

    1.1 踩坑案例 踩坑的程序是个常驻的Agent类管理进程, 包括但不限于如下类型的任务在执行:a. 多线程的网络通信包处理和控制Master节点交互 有固定Listen端口 b. 定期作业任务, 通 ...

  7. Linux脚本5秒后启动程序,嵌入式Linux启动时间优化的秘密之四-启动脚本

    本文主要讲述嵌入式Linux启动时间优化的秘密,我们继续上篇没有讲完的嵌入式Linux启动时间优化方法,本文主要会讲启动脚本.想看上一篇的请查看本文结尾的链接. 启动脚本 1.优化初始化脚本和系统启动 ...

  8. shell遍历根目录_大厂运维高手如何打造核心竞争力?这些Shell命令合集得知道!...

    作者简介:牧客,前阿里巴巴运维专家.本文选自:拉勾教育专栏<运维高手的36项修炼> 你好,我是牧客.我在运维领域深耕10余年,现在是一家知名互联网公司架构师.我曾就职于大型互联网公司阿里巴 ...

  9. awk取列 shell 读文件_大厂运维高手如何打造核心竞争力?这些Shell命令合集得知道!...

    作者简介:牧客,前阿里巴巴运维专家. 本文选自:拉勾教育专栏<运维高手的36项修炼> 你好,我是牧客.我在运维领域深耕10余年,现在是一家知名互联网公司架构师.我曾就职于大型互联网公司阿里 ...

最新文章

  1. spring boot配置写法
  2. python代码有时候在命令行下和Python Shell中执行的结果不一样?
  3. spring mvc学习(27):处理数据模型--从表单到controller传输数据续
  4. 基于OpenCV实现图像平移
  5. memcached telnet命令
  6. c++ 函数参数问题
  7. FFmpeg mp4转yuv播放/截取帧(八)
  8. 蓝桥杯2016年七届C/C++省赛C组第八题-冰雹数
  9. 计算机主板显卡接口,【我想给电脑加个显卡,但是不知道这个主板的显卡接口是什么类型的?】.请大家帮忙...
  10. 上美股份在港交所开启招股:业绩将继续下滑,吕义雄提前大额套现
  11. 手机客户端的推广方式(iOS/Android应用推广)
  12. JZ4 重建二叉树--java实现
  13. 服务器编译spark3.3.1源码支持CDH6.3.2
  14. 美团饿了么外卖CPS项目怎么做?简单推广每天躺赚(附源码和搭建教程)
  15. 核电站计算机专业是干什么的,什么叫核电站?它是干什么用的呢?
  16. 【项目实战】正确辨析蓝绿部署、金丝雀发布(灰度发布)、滚动发布、A/B测试
  17. surface go写php,【反馈】超便宜:851rmb的Surface go - 笔记本电脑(Notebook)版 - 北大未名BBS...
  18. 阿里云项目经理:Redis 开发规范
  19. 毕达哥拉斯素数的王伟猜想
  20. 关于香港DHL与大陆DHL有什么不同?

热门文章

  1. Java反射基础:获取Class对象的三种方式
  2. docker数据卷volume详解
  3. Python3 不换行打印
  4. JVM 的内存模型及jstat命令的使用
  5. MySql取得日期(前一天、某一天)
  6. 【客户下单】后台系统自动分单成功生成工单发送短信
  7. win10家庭版安装docker(DockerToolbox)及问题解决
  8. Host Switch Plus结合nginx使用
  9. mysql主从备份失败--记录现象
  10. redis持久化(2)