ods mysql_ODS数据抽取平台

一、产品简介

ODS数据抽取平台是数据仓库对数据进行精细加工的中间环节，将加工后的数据存储到ODS数据模型中，以便总账，报表，数据仓库使用。

将远程网络生产数据库中的数据备份到一台备份机中(防止对生产数据的误操作)，然后在可视化的第三方ETL工具中编辑ETL脚本，对备份库中的数据进行精细的加工，ETL脚本可以对网络中的任意一台数据库中任意的一张或多张表进行复杂的计算，然后将计算结果保存到ODS的数据模型中，以便其他系统使用，这样就分担了其他系统对数据库中的数据进行复杂运算，复杂的运算完全交由处于数据处理中心的ODS平台。

如下图是ODS平台系统结构图：

二、平台功能及优势

通过可视化的操作界面进行脚本的编写，实现复杂的SQL

脚本Job功能，能够实现叫叫脚本的工作流控制，通过Job控制各个脚本的执行顺序，以实现业务流程。

脚本可以实现对远程任意计算机的操作，可以拿任务数据库中的字段拼装成目标表，以及数据的创建。

如果脚本在中间处理环节出问题的话，生成了中间文件的话，可以通过抽取文件管理对生成的文件进行查看以及下载，而不需要通过终端或者其他的方式登录机器去查看文件。

长时间执行脚本手工跳过功能，对长时间执行的脚本进行跳过，可以使后面的脚本不需要等待这个脚本执行完，跳过之后，跳过的脚本还在执行，并且最终会将执行的结果显示在“任务状态查询”目录中。

实时脚本监测可以对正在执行的脚本进行实时监测的功能，监测具体到脚本中的每一个步骤。

通过和外系统集成，可以实现定时调度ODS平台的功能，这样就不需要人工去触发ODS了，在夜间也可以进行数据抽取的功能。

平台功能：

A、抽数调用配置

在抽数调用配置中用户可看到数据库中所有脚本组和脚本的详细信息。用户还可对这些脚本和脚本组进行修改、删除、上传等操作。并且通过执行参数的配置对所需的脚本进行执行操作。

B、实时脚本监测

在抽数任务启动后，用户需要实时监控数据抽取脚本的运行状态。通过脚本状态实时监控页面可以查询当前正在运行脚本的各项运行状态。脚本实时监控页面还可以显示每个脚本下所有步骤的运行状态。

C、任务状态查询

每次数据抽取任务从触发开始到结束，数据抽取平台会根据运行的任务编号，记录抽数任务的运行状态的详细信息，通过任务状态查询平台，可以查询每次任务运行的历史记录和每次抽数任务脚本的详细信息，以便用户了解所有历史抽数任务的执行状态。

D、调试级别配置

调试级别配置供操作人员设置日志显示级别使用，用户可根据不同的需求配置日志的级别，以便日志查询、查看，日志级别不可手工输入。

E、抽数日志查看

抽数日志查看功能供用户查看抽取日志使用。用户可在该界面选择查看某天的日志详细信息并可下载所需日子。

F、抽数文件管理

用户可在地址栏输入地址点击转到后可查看地址栏下所有文件的详细信息及预览文件内容(双击文件可查看详细信息，可打开的文件类型有：txt、java、log、xml、sql、css、properties)，并可下载所需文件。用户还可在页面右下角设置文件读取编码和预览文件行数。

G、脚本执行清单

用户在抽数调用配置中对数据源和时间进行配置后、抽数任务启动前，可在脚本执行清单页面查看符合执行参数配置的所有脚本的详细信息。

ods mysql_ODS数据抽取平台相关推荐

编写Scala代码，使用Spark讲Mysql数据表中的数据抽取到Hive的ODS层
编写Scala代码,使用Spark讲Mysql数据表中的数据抽取到Hive的ODS层抽取MySQL的metast库中Production表的全量数据进入Hive的ods库中表production,字 ...
BI项目中的ETL设计详解（数据抽取、清洗与转换）
ETL是BI项目最重要的一个环节,通常情况下ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败.ETL也是一个长期的过程,只有不断的发现问题并解决问题,才能使ETL运行效率更 ...
基于大数据的音乐数据中心平台（附：源码课件项目部署文档）
项目介绍音乐数据中心数仓综合项目主要是针对公司过去收集到的用户点播.购买音乐等数据(包括业务数据与用户行为数据),为公司业务更健康的发展提供决策服务支持(BI商业决策). 数据中心项目中包含业务系统 ...
大数据架构师——音乐数据中心平台离线数仓综合项目（四）
文章目录音乐数据中心平台离线数仓综合项目第四个业务:商户营收统计需求模型设计数据处理流程 1. 将数据导入MySQL业务库 2. 执行第二.三个业务 3. 使用Sqoop抽取mysql数据到 ...
微服务场景下数据抽取与统计
案例小故事某公司的技术架构体系目前还是以集群扩展体系为主,集群扩展体系架构如图9-1所示.在这种体系结构中,可以看到应用都是单块结构,但是单块结构的应用具有扩展性,通过部署在多个Tomcat上实现应 ...
利用数据交换平台打通数据治理脉络
11月1日,Informatica举办了网络会议<Informatica数据交换平台主要特性及案例分享>,本文根据Informatica 资深技术顾问续岩演讲内容整理而来. 续岩 Info ...
转基于BCV 和LogMiner 实现增量数据抽取的应用
计算机系统应用 2010 年第 19 卷第 4 期 192 经验交流 Experiences Exchange 基于BCV 和LogMiner 实现增量数据抽取的应用① 杨从法 1 宋兴彬 ...
知乎的 Flink 数据集成平台建设实践
简介:本文由知乎技术平台负责人孙晓光分享,主要介绍知乎 Flink 数据集成平台建设实践.内容如下: 1. 业务场景 : 2. 历史设计 : 3. 全面转向 Flink 后的设计 : 4. 未来 Fl ...
连载：阿里巴巴大数据实践—数据开发平台
简介:介绍MaxCompute和阿里巴巴内部基于MaxCompute的大数据开发套件,并对在数据开发过程中经常遇到的问题和相关解决方案进行介绍. 前言: -更多关于数智化转型.数据中台内容请加入阿里云 ...

ods mysql_ODS数据抽取平台

ods mysql_ODS数据抽取平台相关推荐

最新文章

热门文章