kettle数据同步从FTP服务器上下载文件

从FTP服务器上下载文件

这个是JOB实现的是每隔一个小时从FTP服务器上下载当前时段的一个文件。此JOB要实现的核心在于时间变量的设置，同时还需要根据你要下载的文件编写相应的正则表达式。

首先我们来看变量是如何设置的：

第一：获取使用获取系统信息选项，此选项在装换当中的输入文件夹下面。

打开此选项我们可以看到有如下一些选择：

这里根据我们的需求选择“系统日期（可变）”，这个是第一步，接下来就要使用到另一个重要的选项“javascript”。

第二：javascript选项来提取我们需要的时间格式

这里我们是要分别提取系统时间的“年”、“月”、“日”、“时”四个时段的值。这个选项提供一些相应的方法来实现这个功能，我使用的是date2str（var，var）方法，此方法的说明如下：

var dValue = new Date();
Alert(date2str(dValue));
Alert(date2str(dValue,"dd.MM.yyyy"));
Alert(date2str(dValue,"dd.MM.yyyy HH:mm:ss"));
Alert(date2str(dValue,"E.MMM.yyyy","DE"));
Alert(date2str(dValue,"dd.MM.yyyy HH:mm:ss","EN"));
Alert(date2str(dValue,"dd.MM.yyyy HH:mm:ss","EN", "EST"));

这个是选项中现成提供的一个，里面还有很多。这里不单可以使用选项本身带有的，还可以自己编写相应的javascript脚本语句。

以下就我获取不同时段的代码：

years=date2str(sysdate,"yyyy");
mons=date2str(sysdate,"MM");
days=date2str(sysdate,"dd");
hous=date2str(sysdate,"HH");

这里一共有四个字段，这意味我们在后面要分别设置四个变量。

好，接下来就让我们来看看最后一步：变量的设置

第三：变量设置

我设置了四个变量：分别是“年”、“月”、“日”、“时”，全部设置为全局变量。

好，到这里我们的定时下载FTP已经完成了第一步，这个为什么要设置四个变量呢？接下来就会知道了。

然后就是FTP选项的相关设置

如图：

第一个页面是填写相关的FTP服务的信息。填写正确之后有个“TEST CONNECTION”按钮可以测试服务器是否连接成功。在看下面有一个控制编码选项，这个选项是选择相应的文件编码格式，特别是文件在不同系统之间传输最容易导致乱码问题。这里手动指定相应的编码格式可以有效避免乱码问题。

第二个页面如下：

这里有两点需要注意一下，第一就是通配符选项。此选项是用来写相应的正则表达式来提取相应的文件。我们之前设置的变量也就是在这里使用。

我下载的是EXCL文件，文件名格式“广东电信C网拨测系统-服务质量支撑及管理系统-指标数据(2011年11月25日12点)”。我们要实现动态提取当前文件就得根据文件名当中哪些是变化的，这里明显可以看出文件名当中的时间是变化的，但是此时间不是标准的时间格式，所以我们使用了四个变量也就是如此了。

相应的正则表达式如下：

.*(${years}.*${mons}.*${days}.*${hous}.*).xls

另一个需要注意的地方就是：

此选项可以实现相应的文件操作，比如跳过、覆盖等等一些。

以上就是从FTP服务器下载的整个JOB 的流程，这个根据自己的需求还可以做很多变化，具体的有哪些变化，就交给大家去实践中体验了。

kettle数据同步从FTP服务器上下载文件相关推荐

以命令方式从ftp服务器上下载和上传文件
** 以命令方式从ftp服务器上下载和上传文件 wang ** 1."开始"→"运行",输入"cmd",打开命令提示符: 2.在命令提示符内 ...
linux ftp 550 下载,linux ftp服务器上传文件夹时提示550错误问题解决方法
linux ftp服务器上传文件夹时提示550错误问题解决方法标签: linux ftp服务器 550 中文文件夹上传错误问题分类: 计算机 2010-11-06 22:47 前几天在实验室搭配 ...
ftp服务器上传文件权限设置,ftp服务器上传文件权限设置
ftp服务器上传文件权限设置内容精选换一换华为云对象存储服务帮助中心,为用户提供产品简介.价格说明.购买指南.用户指南.API参考.最佳实践.常见问题.视频帮助等技术文档,帮助您快速上手使用对 ...
如何设置ftp服务器上传文件夹至不同路径,设置ftp服务器上传文件夹
设置ftp服务器上传文件夹内容精选换一换上传单个或多个本地文件或文件夹至OBS指定路径.待上传的文件可以是任何类型:文本文件.图片.视频等等.上传本地文件或文件夹时,请确保本地文件或文件夹在上传 ...
ftp服务器上传文件不行,ftp服务器上传文件不行
ftp服务器上传文件不行内容精选换一换本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务,将文件从本地上传到云服务器中.已在待上传文件的云服务器中搭建 FTP 服务.如果您的云服务器 ...
ftp服务器只能上传文件,ftp服务器上传文件不行
ftp服务器上传文件不行内容精选换一换本文介绍如何在 Linux 系统的本地机器上使用 FTP 服务,将文件从本地上传到云服务器中.已在待上传文件的云服务器中搭建 FTP 服务.如果您的云服务器 ...
ftp服务器上传文件频率,ftp服务器上传文件速度多少
ftp服务器上传文件速度多少内容精选换一换华为云帮助中心,为用户提供产品简介.价格说明.购买指南.用户指南.API参考.最佳实践.常见问题.视频帮助等技术文档,帮助您快速上手使用华为云服务. 使 ...
播放ftp服务器视频文件,远程播放ftp服务器上的文件
远程播放ftp服务器上的文件内容精选换一换添加节点时提示"添加节点失败,节点已存在".待添加节点的服务器上已安装系统性能分析或者添加过节点.如果待添加节点的服务器上已安装系统 ...
无法将文件ftp服务器上,ftp服务器上传不了文件
ftp服务器上传不了文件内容精选换一换资源包括静态语音,TTS放音以及短消息,在您进行流程编排前,需要先将涉及到的资源,包括语音.短信模板添加到系统中,才能继续配置流程. 华为云支持导入vhd. ...
java在FTP服务器创建文件夹,java在ftp服务器上创建文件夹
java在ftp服务器上创建文件夹内容精选换一换启动目的端时失败,错误码:SMS.3103,提示迁移失败原因"对目的服务器重新建立引导失败".启动目的端后,系统会重新安装目的 ...

kettle数据同步从FTP服务器上下载文件

kettle数据同步从FTP服务器上下载文件相关推荐

最新文章

热门文章