阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界
一、前言
上文我讲到 阿里云-数据仓库-数据分析开发神器-ODPS ，今天我带领大家一起走进神器的成长环境及它的数据世界。
二、 DataWorks是什么
DataWorks基于MaxCompute、Hologres、EMR、AnalyticDB、CDP等大数据引擎，为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。
它是数据工场，集成提供对ODPS数据进行加工处理，主要提供了：数据集成、数据开发、数据管理、数据治理、数据分享等功能。
三、产品架构
通过智能数据建模、全域数据集成、高效数据生产、主动数据治理、全面数据安全、数据分析服务六大全链路数据治理的能力，帮助企业治理内部不断上涨的“数据悬河”，释放企业的数据生产力。
3.1 、智能数据建模
智能数据建模 是 依托阿里巴巴十多年来数仓建模方法论的最佳实践凝聚形成 ，里面包含数仓规划、数据标准、维度建模及数据指标四大模块，可以帮助企业在搭建数据中台、数据集市建设过程中提升建模及逆向建模的能力，并通过数据建模快速构建企业数据资产。
DataWorks智能建模 引入后带来的好处：
1、海量数据的标准化管理;
2、业务数据互联互通，打破信息壁垒;
可以打破 公司内部各业务、各部门之间信息孤岛，快速地了解公司各类数据情况，动态及时的数据为 企业决策层 做业务决策提供数据参考。
3、数据统一标准化整合，统一灵活对接;
4、 在最大程度上用好企业各类数据，使企业数据价值最大化，为企业提供更高效的数据服务。
3.2 全域数据集成
DataWorks数据集成提供稳定高效、弹性伸缩的数据同步平台，实现数据自由离线或实时流动，致力于提供复杂网络环境下、丰富的异构数据源之间高速稳定的数据移动及同步能力。
1、丰富的异构数据源
支持关系型数据库、文件存储、大数据存储、消息队列等50种数据源
不限制链路，读写插件都支持
2、离线、实时同步全场景覆盖
全增量一体化实时同步，全量增量数据自动合并
支持分库分表离线实时同步
3、齐备的网络解决方案
提供所有网络场景下的同步解决方案
支持跨产品、跨账号、跨云、数据同步
3.3、 高效数据开发
DataWorks数据开发（DataStudio）与运维中心面向各引擎（MaxCompute/Hologres/EMR/CDP等）提供可视化开发的主界面，赋予用户智能代码开发、多引擎混编工作流、规范化任务发布的强大能力，让用户轻松构建离线数仓、实时数仓与即席分析系统，保证数据生产的高效与稳定。
1、DataStudio支持MaxCompute、EMR、CDH、Hologres、AnalyticDB、Clickhouse等多种计算引擎，支持在统一的平台上进行各类引擎任务的开发、测试、发布和运维等操作。
2、DataStudio支持智能编辑器、可视化依赖编排，调度能力经过阿里集团内调度任务、复杂业务依赖的反复验证。
3、DataStudio提供隔离的开发和生产环境，结合版本管理、代码评审、冒烟测试、发布管控、操作审计等配套功能，帮助企业规范地完成数据开发。
4、运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。
3.4 、 主动数据治理
DataWorks数据治理包含数据治理中心、数据质量、数据地图等多个产品，覆盖事前、事中、事后的数据生命周期，通过数据治理健康分、质量规则、数据大血缘等能力，将书面的数据治理规范落地成平台化的产品能力，让数据治理不再一个 “阶段性项目”，而是一个“可持续的运营项目”。
3.5 、快速分析服务
DataWorks数据分析与服务旨在为企业提供全面的数据分析与服务共享能力。
数据分析基于“人人都是数据分析师”的产品目标，旨在为更多非专业数据开发人员，如数据分析、产品、运营等工作人员提供更加简洁高效的取数、用数工具，提升大家日常取数分析效率。
1、简单快速的数据分析
支持MaxCompute、Hologres、EMR等多种数据源自助SQL查询，支持电子表格直接进行快速预览，数据的上传与下载。
2、零代码快速构建API数据服务
支持通过可视化的向导模式生成API，也支持通过SQL脚本模式编写复杂查询逻辑生成API
3、高效的服务编排
提供拖拽式的工作流编排能力，以串、并行和分支等结构编排多个API及函数服务为工作流，创建复杂API
四、DataWorks开发模式及其它功能区说明
DataWorks 目前提供简单模式和标准模式二种。
二种 工作空间模式中 简单模式可以升级标准模式，但标准模式无法升级简单模式，具体原因 阅读完下面内容大家自会明白。
简单模式
简单模式不区分开发与生产环境，开发的代码可以直接进入运维中心上线调度自动运行。
标准模式
标准模式工作空间，可隔离开发环境与生产环境，
采用二套计算引擎（项目、实例或数据库）隔离分开,开发的代码任务需要先提交至开发环境，再执行发布操作，将任务发布至生产环境，才可以自动调度运行任务。
新建调度资源
一般进行简单的数据分析只需要默认的调度资源就满足业务需求（目前的模式就是按量付费）
需要进行特殊操作或引用第三方组件、程序时 数据集成、数据操作时会用到自定义资源。
新增数据源
DataWorks空间：选择项目 -> 选择数据集成 -> 同步资源管理 -> 数据源
批量数据上云入库
DataWorks空间：-> 选择数据集成 -> 同步资源管理 -> 数据源 -> 整库数据迁移
也可针对指定表进行同步：
可视化的开发界面
支持通过拖拉拽的方式构建任务流程，在统一的界面进行数据开发和调度配置。
该界面为数据分析日常开发最重要界面。
运维中心
运维中心支持数据时效性保障、任务诊断、影响分析、自动运维、移动运维等功能。
数据地图
DataWorks空间：单击左上角的图标，选择全部产品 > 数据地图。
默认进入数据地图首页，我们可以在该页面输入关键字搜索需要的表，并可以查看近期浏览和近期读取的表，以及基于您的访问记录推荐的热门浏览和热门读取。
我们可以根据项目找到自己需要的表，单击全部数据。
在左侧项目下拉框中选择相应的项目，即可查看该项目下的表和EMR表。也可以对相应的表进行收藏、申请权限、查看血缘和查看SQL等操作。
如果查看工作空间的整体情况，请单击数据总览。
如果需要修改拥有的表等，请单击我的数据。
阿里云-数据仓库-全链路大数据开发治理平台-DataWorks的数字世界相关推荐
- 大数据开发治理平台 DataWorks
序言 学习下阿里DataWorks的设计理念以及要做的事情cuiyaonan2000@163.com 参考文档: https://www.aliyun.com/product/bigdata/ide ...
- 基于阿里云官网文档-大数据开发治理平台 DataWorks研读+数据质量扩展+相应的大数据组件知识扩展
网址:阿里DataWorkers网址:数据集成概述 - 大数据开发治理平台 DataWorks - 阿里云 目录 网址:阿里DataWorkers网址:数据集成概述 - 大数据开发治理平台 DataW ...
- 阿里：DataWorks一站式大数据开发治理平台
官网: 大数据开发治理平台 DataWorks - 帮助中心 - 阿里云
- 互联网下半场的角逐，玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场（北京站）干货集锦...
2019独角兽企业重金招聘Python工程师标准>>> 2019年1月18日下午,一个晴冷的冬日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的"阿里云栖 ...
- 互联网下半场的角逐，玩转轻资产的大数据服务 | 阿里云栖开发者沙龙大数据专场（北京站）干货集锦
2019年1月18日下午,一个晴冷的冬日,由阿里巴巴MaxCompute开发者社区和阿里云栖社区联合主办的"阿里云栖开发者沙龙大数据技术专场"走近北京联合大学.当日,近200名大数 ...
- 开放下载！《一站式大数据开发治理DataWorks使用宝典》
简介:零基础入门大数据开发治理,上手DataWorks 10大模块 DataWorks官方入门电子书出版啦,零基础入门大数据开发治理,全面了解DataWorks十大功能模块,快速上手DataWorks ...
- 阿里云贾扬清：大数据+AI工程化，让数据从「成本」变为「资产」
简介:近年来,数字经济发展迅速,企业转型背后频频涌现「数字力量」的身影.云计算.大数据.人工智能的快速融合形成了数字经济的新基建,也为数字经济发展带来了新的机遇. 近年来,数字经济发展迅速,企业转型背 ...
- 数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？
商务智能.商务智能工程师是商业智能行业的工程师.从需求分析师到数据仓库架构师.ETL工程师.数据分析工程师.报表开发工程师.数据挖掘工程师等,都可以称为BI工程师. ETL工程师:从事系统编程.数据库 ...
- 数据仓库工程师、大数据开发工程师、BI工程师、ETL工程师之间有什么区别？...
商务智能.商务智能工程师是商业智能行业的工程师.从需求分析师到数据仓库架构师.ETL工程师.数据分析工程师.报表开发工程师.数据挖掘工程师等,都可以称为BI工程师. ETL工程师:从事系统编程.数据库 ...
最新文章
- 深度学习（二十六）Network In Network学习笔记-ICLR 2014
- 利用python编写设计多线程web服务器（计算机网络_自顶向下第六版_第二章1和4的编程作业）
- Spring Cloud构建微服务架构（二）服务消费者
- this、new、apply和call详解
- (轉貼) ThinkPad鍵盤設計原理和哲學 (NB) (ThinkPad)
- 微信小程序中template模板使用
- nagios搭建（一）：nagios3.2的搭建
- 湖南工大11级C语言网上作业,湖南工大11级C语言网上作业之《最简单的程序设计》.docx...
- 内存-ECC RDIMM 服务器内存条简介(常被叫做RECC内存条)
- [二分]TYVJ1359 收入计划
- linux下alias命令具体解释
- Light oj 1233 - Coin Change (III) (背包优化)
- lc 778. Swim in Rising Water
- Android基站定位详解
- 青岛大学计算机专业春考,青岛大学春季高考分数线2020
- linux系统获取root权限,linux怎么进入root权限
- java3D实现空间立方体_CSS3 3D旋转立方体
- 为什么你的大脑那么喜欢图表？13张图告诉你
- 幼儿园买玩具_二进制枚举
- Elixir GenServer