关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)...
这两天在做数据的导入操作,为了方便数据的导入我们采用sqoop的方式将数据导入。但是在表很多的情况下,在hue当中部署工作流就是一件很麻烦的事情,
然后想着能不能通过shell脚本调shell脚本的方式实现在一个shell脚本当中就可以实现对多个导入操作脚本的调用。
操作脚本如下:
#!/bin/bash #sh ./import_com_organization.sh source ./import_com_organization.sh #. ./import_com_organization.sh echo "success" exit 0 这三种方式都可以实现对数据的导入操作,我这里是使用oozie的方式实现对脚本的调度操作。下面这个是sqoop的导入脚本,这个可以自己按照自己的要求去编写
这里需要注意几个问题,在这里被调用的脚本必须和住脚本的路径一直。要不然一直报找不到路径,类似下面的这种找不到路径。这里我试了一下使用决绝路径都是不可以的,一直报路径或者文件存在。这设计真是不合理两个文件还必须在同一目录下面。
下面说一下这种脚本在hue当中部署oozie的具体操作;
(1)将写好的脚本主脚本和被调用的脚本上传到同一目录下:
(2)然后部署工作流
接下来在yarn上面我们能看到oozie启动的laucher和action操作。
等待执行完成之后。查看结果即可。
参考文档: https://blog.csdn.net/adshiye/article/details/84311890
转载于:https://www.cnblogs.com/gxgd/p/10221303.html
关于在hue当中调shell脚本的操作(这里的shell 脚本是在shell脚本当中嵌套shell脚本的操作使用source的方式)...相关推荐
- Shell脚本自动源码包安装LA/NMP架构详解(赠软件包+脚本)
脚本环境 1.linux centos 7 系统 2.光盘镜像文件已挂载 3.系统可连接外网 4.软件包下载链接 lamp 链接:https://pan.baidu.com/s/1x6PTj_aUN2 ...
- linux|shell脚本|有趣的知识---格式化输出日志和脚本调试方法以及kubernetes集群核心服务重启和集群证书备份脚本
前言: shell脚本的功能十分强大,这一点毋庸置疑的.那么,平常的工作中总是免不了和脚本打交道,也免不了要自己编写一些脚本. 每个人都希望自己编写的脚本强壮,简单,易用,功能多,并且总是希望脚本运行 ...
- 【SA8295P 源码分析】53 - mifs.build.tmpl 脚本详解:启动QNX procnto-smp-instr微内核、启动QNX串口终端shell、加载解析并执行ifs2_la.img
[SA8295P 源码分析]53 - mifs.build.tmpl 脚本详解:启动QNX procnto-smp-instr微内核.启动QNX串口终端shell.加载解析并执行ifs2_la.img ...
- arcgis python脚本实现从界面选择输入输出_arcgis python脚本实现从界面选择输入输出_ArcGIS Python编程案例(2)-使用ArcPy编写脚本......
本章将涉及以下案例: 使用ArcGIS Python窗体 访问ArcPy 从脚本中执行工具 使用ArcGIS桌面软件帮助系统 使用变量存储数据 访问ArcPy中的模块 引言 地理处理任务往往是耗时且重 ...
- shell 输出数据到文本_Linux运维工程师从基础到进阶:Shell变量知识梳理
Shell是一个用C语言编写的程序,它是用户使用Linux的桥梁.Shell既是一种命令语言,又是一种程序设计语言,涵盖的知识点多且杂,却是云计算开发人员必须要掌握的技术之一.接下来的广州云计算培训小 ...
- python shell下载很慢_Python踩坑之旅其一杀不死的Shell子进程
1.1 踩坑案例 踩坑的程序是个常驻的Agent类管理进程, 包括但不限于如下类型的任务在执行:a. 多线程的网络通信包处理和控制Master节点交互 有固定Listen端口 b. 定期作业任务, 通 ...
- Linux脚本5秒后启动程序,嵌入式Linux启动时间优化的秘密之四-启动脚本
本文主要讲述嵌入式Linux启动时间优化的秘密,我们继续上篇没有讲完的嵌入式Linux启动时间优化方法,本文主要会讲启动脚本.想看上一篇的请查看本文结尾的链接. 启动脚本 1.优化初始化脚本和系统启动 ...
- shell遍历根目录_大厂运维高手如何打造核心竞争力?这些Shell命令合集得知道!...
作者简介:牧客,前阿里巴巴运维专家.本文选自:拉勾教育专栏<运维高手的36项修炼> 你好,我是牧客.我在运维领域深耕10余年,现在是一家知名互联网公司架构师.我曾就职于大型互联网公司阿里巴 ...
- awk取列 shell 读文件_大厂运维高手如何打造核心竞争力?这些Shell命令合集得知道!...
作者简介:牧客,前阿里巴巴运维专家. 本文选自:拉勾教育专栏<运维高手的36项修炼> 你好,我是牧客.我在运维领域深耕10余年,现在是一家知名互联网公司架构师.我曾就职于大型互联网公司阿里 ...
最新文章
- spring boot配置写法
- python代码有时候在命令行下和Python Shell中执行的结果不一样?
- spring mvc学习(27):处理数据模型--从表单到controller传输数据续
- 基于OpenCV实现图像平移
- memcached telnet命令
- c++ 函数参数问题
- FFmpeg mp4转yuv播放/截取帧(八)
- 蓝桥杯2016年七届C/C++省赛C组第八题-冰雹数
- 计算机主板显卡接口,【我想给电脑加个显卡,但是不知道这个主板的显卡接口是什么类型的?】.请大家帮忙...
- 上美股份在港交所开启招股:业绩将继续下滑,吕义雄提前大额套现
- 手机客户端的推广方式(iOS/Android应用推广)
- JZ4 重建二叉树--java实现
- 服务器编译spark3.3.1源码支持CDH6.3.2
- 美团饿了么外卖CPS项目怎么做?简单推广每天躺赚(附源码和搭建教程)
- 核电站计算机专业是干什么的,什么叫核电站?它是干什么用的呢?
- 【项目实战】正确辨析蓝绿部署、金丝雀发布(灰度发布)、滚动发布、A/B测试
- surface go写php,【反馈】超便宜:851rmb的Surface go - 笔记本电脑(Notebook)版 - 北大未名BBS...
- 阿里云项目经理:Redis 开发规范
- 毕达哥拉斯素数的王伟猜想
- 关于香港DHL与大陆DHL有什么不同?