历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?
简介:自Dataphin产品上线以来,经历3年的迭代打磨,在2021年5月15日发布新版本,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验。
-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入)
-阿里云数据中台官网 https://dp.alibaba.com/index
Dataphin即智能数据构建与管理平台
旨在提供从数据接入到数据消费的全链路、一站式的大数据能力,包括产品、技术和方法论等,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。
版本新特性概况
自Dataphin产品上线以来,经历3年的迭代打磨,本次2.9.4.2版本在2021年5月15日发布,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验:
功能升级亮点摘要
1、新增数据源
新增支持Hologres数据源类型,用于后续Hologres数据同步集成,及后续实时Blink任务读写使用。
对于使用Hologres数据源的用户来说,Dataphin支持从Hologres数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至Hologres;支持Blink任务实时读写Hologres数据,且在Dataphin流批一体场景中,Hologres可以用作批流一体的统一存储服务,实时查询实时写入,无冗余数据搬迁工作,大幅提升研发效率。
功能场景a. 数据源引入
功能场景b. 离线数据集成
功能场景c. 流批一体
- 定义Hologres元表,指定数据源及来源表
- 定义流批虚拟镜像表,指定镜像表映射的批流分别写入的物理表,由于Hologres同时支持离线与实时读写,因此两边物理表可以均为Hologres表
- 创建Blink流批一体任务,指定批流参数配置及任务配置,代码逻辑一致,一套代码实现两种调度时效
- Dataphin流批一体架构图
2、Blink实时任务支持代码采样调试
Blink实时任务支持代码采样调试,采样数据支持本地上传文件数据、在线抽样数据、在线编辑输入数据三种方式,仅兼容支持blink-3.6及以上版本。
升级前Blink任务不支持本地调试,无法在草稿态时验证作业开发的数据正确性,需要提交到运维后启动运维的测试实例进行验证,提交任务之前无法验证。
升级后在提交Blink任务之前可以进行本地数据采样,并在Console中输出任务运行结果,可以即时检查代码逻辑是否正确、输出结果是否符合预期等,验证正确再进行任务提交,有效保障了任务质量及开发效率。并且我们支持三种采样方式!自动抽样数据来源表数据、上传本地csv文件(提供样例可下载),或者直接在采样的面板中进行数据输入,灵活且方便。
3、运维列表展示对象拓展
运维列表每页展示对象拓展至100个,默认展示20/页,可切换20/40/60/80/100个/页;运维任务DAG图中支持查看物化代码及运行日志时自动定位到对应物化节点,提升运维效率
4、数据服务模块支持新离线数据源
数据服务模块新增支持AnalyticDB for MySQL 3.0 离线数据源。
新增数据服务管理员角色,作为API权限申请、服务单元权限申请及数据源权限申请的审批人,加强API数据服务出口的权限管控强度,限制API开发者本人对API的广泛应用权限,需设置专人进行权限审批,API应用安全及权限管控效力大幅增强。
版本小结
本次5月发布的V2.9.4.2版本中,Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行功能迭代。
在下一期的迭代中,计划支持CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩展、监控告警能力升级、MySQL8.0数据源等功能,敬请期待!
我想了解更多:https://dp.alibaba.com/consult
数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。
目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案、零售数据中台解决方案、金融数据中台解决方案、互联网数据中台解决方案、政务数据中台解决方案等细分场景。
其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:
- - Dataphin,一站式、智能化的数据构建及管理平台;
- - Quick BI,随时随地 智能决策;
- - Quick Audience,全方位洞察、全域营销、智能增长;
- - Quick A+, 跨多端全域应用体验分析及洞察的一站式数据化运营平台;
- - Quick Stock, 智能货品运营平台;
- - Quick Decision,智能决策平台;
官方站点:
数据中台官网 https://dp.alibaba.com
原文链接:https://developer.aliyun.com/article/784660?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?相关推荐
- 智能数据构建与管理平台Dataphin的前世今生:缘起
简介:阿里巴巴提出的OneData方法论帮助企业捋清了数据全生命周期的管理思路,更将其植入到产品Dataphin(智能数据构建与管理)中,通过阿里云为企业提供服务. Dataphin 智能数据构建与管 ...
- 阿里云智能数据构建与管理 Dataphin公测,助力企业数据中台建设
2019独角兽企业重金招聘Python工程师标准>>> 阿里云智能数据构建与管理 Dataphin (下简称"Dataphin")近日重磅上线公共云,开启智能研发 ...
- 数据智能构建管理平台Dataphin V2.9.4.3版本发布
简介:Dataphin发布V2.9.4.3版本升级多项产品能力,该版本在产品功能和用户体验上都进行了优化和提升,旨在为用户提供更完善的产品能力和体验,以加速企业数据中台建设进程. -更多关于数智化转型 ...
- 12款开源数据资产(元数据)管理平台选型分析(一)
两年前,在文章最全大数据开源组件思维导图中,整理了大数据生态的开源技术组件思维导图,至今有4K的下载量. 尽管数据行业的新词热度,由大数据平台->数据治理->数据中台->数字化转型( ...
- 智能数据构建与管理(Dataphin)-资产全景
数据资产概述 数据经采集.集成.加工等流程处理完成后,可以在数据资产模块进行系统化管理. Dataphin的数据资产功能,基于数据资产管理的规范及方法论,助您对数据资产进行盘点评估: 支持自动化提取分 ...
- 依托数网星工业互联网平台构建能源管理平台,助力企业能耗结构优化
随着软件技术日臻趋于成熟,以及5G的应用,能源管理平台建设成本降低,而且系统更安全.可靠.能源管理也不再随求大平台.大展示,实用.安全.方便.高效的能源管理系统更适合用能单位的需求.终端显示可用办公电 ...
- 联想Filez助力企业知识管理 构建知识管理平台
自加入WTO以来,中国企业得到飞速发展,在多年的业务发展过程中,企业内部各信息管理系统存储了海量的信息资源,由于历史原因,这些信息资源管理分散.共享困难,形成彼此隔离的信息孤岛.如何对海量信息资源进行 ...
- 构建云管理平台,需要满足哪几方面需求?
现在很多人都承认云是一个强大的管理工具,但问题也在这,我们认为云仅仅是一种工具.事实上,云管理平台不只是一个漂亮的包装,不是一个自动生成或缩放功能的几个脚本,而是一个平台,使云所有者感到他们公司的指令 ...
- 基于BookStack构建知识管理平台
什么是 BookStack ? BookStack 是一个开源的.基于 Laravel + Vue.js 构建的知识管理和服务平台.具有简单但功能强大的所见即所得编辑器,允许团队轻松创建详细且有用的文 ...
最新文章
- 连接远程服务器CredSSP加密Oracle修正报错解决办法
- ubuntu操作系统下载
- hp优盘启动盘格式化工具_启动盘——拯救你电脑的利器
- Linux终端关闭屏幕显示,使用命令行关闭监视器
- zabbix开启报警声音 网页也可以有声音
- 微型计算机控制技术黄勤期末,微型计算机控制技术作者黄勤第4章__工控机的抗干扰课案.ppt...
- (计算机组成原理)第三章存储系统:本章习题
- 花瓣网方砖布局 图片内容无限加载 用户体验才是王道
- Anaconda tensorflow 安装笔记
- 病毒肆虐,宅在家里的时候,作为企业经营者的我在想些什么
- 海拔高度与大气密度的关系函数
- win7找不到服务器的dns错误怎么办,Win7系统DNS错误怎么办?
- 户外直播信号差,老出现卡顿现象怎么办?
- 免费课程:升级? 使用布尔玛CSS
- Thinkphp5.1实现发送邮箱验证码
- 20200812 java 笔记
- 【案例】使用CSS3实现天空变化效果
- 线性代数的本质--笔记整理
- Ftp下载文件超时处理
- javaweb JAVA JSP汽车维修管理系统JSP汽车售后服务系统JSP车辆维修管理系统
热门文章
- sql 包含_SQL笔记:在一张包含学生ID、课程、成绩的表中,检索各科前三名
- 面试官:Mysql 中主库跑太快,从库追不上怎么整?
- 进大厂全靠自学,微软amp;头条实习生现身说法:我是这样自学深度学习的丨课程传送门...
- 数据分析师最终都会代码化的3点原因?!
- 不显示坐标刻度_如何使用坐标交叉位置来改变Excel图表的展现形态
- docker java 不兼容_Apple M1 芯片不支持 Docker?Docker:正在努力适配
- WORD文档中的表格:自定义方式的批处理,增删行列和内容
- 架构漫谈(八):从架构的角度看如何写好代码
- information_schema.routines 学习
- Something haunts me in Python