Pandora数据工厂之概述

Pandora数据工厂

Pandora数据工厂是大数据领域PaaS平台，是一站式的DW能力平台，提供数据集成、数据存储、数据开发、数据管理、数据治理和数据服务等全方位的产品服务。

Pandora数据工厂是用于工作流可视化开发和托管任务调度的海量数据离线加工分析平台，支持按照时间和依赖关系的任务全面托管调度，支持每日千万级别的任务按照DAG关系准确、准时运行，提供可视化的任务监控管理工具，支持以 DAG 图的形式展示任务运行时的全局情况等使用。

数据的分析流程如下：

一、名词说明

项目空间（Project）是 Pandora的基本组织单元，它类似于传统数据库的 Schema 的概念，是进行多用户隔离和访问控制的主要边界。一个项目组可以同时拥有多个项目空间的权限，可以访问项目空间的对象，例如：

表、数据存储、数据，资源、函数和任务实例。
Pandora数据工厂
数据集成即为ETL
数据管理即为数据治理
数据开发即为数据计算包括数据的离线计算和流式计算
数据服务即为数据交换中的数据服务
数据交换包括数据的四个方面：数据审计、数据权限和数据服务

二、基础架构

Pandora采用的技术栈如下图：

三、功能概述

Pandora数据工厂功能如下：

1. 任务调度

调度任务
提供强大的调度能力，支持按照时间、依赖关系的任务触发机制，支持每日千万级别的任务按照DAG关系准确、准时运行。支持cron表达式，可以进行分钟、小时、天、周和月多种调度周期配置。
支持多种任务类型
支持SHELL、HadoopShell、Spark、Pig、Hive、MR1、MR2、Sqoop等多种任务类型，通过任务之间的相互依赖完成复杂的数据分析处理。

2. 可视化开发

提供可视化的代码开发、工作流设计器页面，无需搭配任何开发工具，简单的拖拽和开发就可以完成复杂的数据分析任务。只要有浏览器有网络，便可随时随地进行开发工作。

3. 监控告警

运维中心提供可视化的任务监控管理工具，支持以DAG图的形式展示任务运行时的全局情况。

Pandora数据工厂之概述相关推荐

软件测试实验--数据工厂DataFactory+MySQL数据构造
数据工厂---DataFactory+MySQL数据构造显示成功,但测出来的是啥...
《虚拟化与云计算》读书感（三）数据中心的概述
看了<虚拟化与云计算>的第一章第一节'数据中心的概述'.在我读这一节开始,我看到这个题目的时候总是联想到类似谷歌数据中心一类的东西,多个硬盘或者服务器的堆叠.然后整来几个集装箱把这些堆叠的 ...
iphone8p百度云认证_探秘百度数据工厂Pingo的多存储后端数据联合查询技术
作者介绍:张志宏,2013年加入百度大数据部,曾作为核心成员参与百度大数据平台的搭建.目前是百度数据工厂Pingo核心团队的技术负责人. Pingo是来自百度的离线大数据集成开发平台,使用Spark作 ...
数据工厂 mysql_.net中利用数据工厂实现多数据库的操作
在项目的开发过程中,在设计模式的概念还没有出来时,我们那时候在编写程序时,往往如果项目的数据库是采用SQL Server,然后用户又想换其它数据库如Oracle时,我们就需要对其代码进行重写,特别是在 ...
徒手打造基于Spark的数据工厂（Data Factory）：从设计到实现
在大数据处理和人工智能时代,数据工厂(Data Factory)无疑是一个非常重要的大数据处理平台.市面上也有成熟的相关产品,比如Azure Data Factory,不仅功能强大,而且依托微软的云计 ...
印度数据工厂驱动全球 AI 发展
在中国,推进 AI 发展的一些最关键工作是在与北京和深圳相距十万八千里进行的.虽然人工智能机器是超快的学习者,擅长处理复杂的运算,但它们缺乏就连 5 岁的孩子都具备的认知能力.人工智能需要被教导.数据 ...
大数据云计算技术概述_云计算–概述，类型，优势和未来范围
大数据云计算技术概述 Cloud Computing is a type of online on-demand service that includes resources like comput ...
抽象工厂模式（三）：抽象工厂模式概述
3 抽象工厂模式概述抽象工厂模式为创建一组对象提供了一种解决方案.与工厂方法模式相比,抽象工厂模式中的具体工厂不只是创建一种产品,它负责创建一族产品.抽象工厂模式定义如下: 抽象工厂模 ...
【数据科学】数据治理与数据认责概述
一.本文预期读者: • 企业领导 • 各主要业务部门领导 • 技术执行管理人员:在客户数据治理路线规划.设计和实施当中,需要资深的管理人员支持. • 数据管理相关部门:负责客户数据管理和监管报送相关 ...