【活动回顾】带你了解一站式开源大数据平台套件WeDataSphere

WeDataSphere 公众号回复“2022WDS年中大会“获取讲师分享材料

点击“阅读原文”可查看完整视频

8月27日下午，2022 WeDataSphere社区年中大会通过线上直播顺利举行。本次大会持续3小时，干货满满，讲师们对八大开源组件进行了全面解读。有超过8000名开发者参与观看，300+开发者参与社区问卷调查，大家积极参与提问互动。

我们邀请了9位社区分享嘉宾进行分享，包括WeDataSphere发起人/微众银行大数据平台负责人邸帅、前阿里大数据专家/Apache Linkis PPMC 陶克路、仙翁科技大数据工程师李孟、天翼云大数据工程师/Apache Linkis Committer 陆小龙、萨摩耶科技大数据工程师陈文东、微众银行4位大数据工程师-王哲、周玉壮、饶进阳、吴梓煜。

下面我们来回顾一下本次大会的精华内容。

主题一：《WeDataSphere总体介绍与社区新晋突出贡献者致谢》

嘉宾：邸帅 WeDataSphere发起人/Apache Linkis发起人/微众银行大数据平台负责人

分享精华：

从2019年WeDataSphere进行开源，到目前为止已覆盖多个行业，收到反馈并且投产的企业有103家，生产中管理的数据量超过410PB，社区用户有7000+，以及251名贡献者。

社区的发展离不开大家的积极参与和贡献，在今年以来社区涌现出18位优秀的贡献者，分别为孙顺、许灵、鲍洋、陶时、陶志强、林武康、李孟、杜函敏、pjfanning、周新明、高赛、李凡聪、杨云、汤佳斌、张燕妮、谢军、资飞、范俊甫。在此社区向大家表达感谢，同时鼓励有兴趣参与社区建设的开发，可以主动联系我们，一起共建WeDataSphere社区。

主题二：《计算中间件 Apache Linkis 1.1.2和1.3.0版本介绍》

嘉宾：陶克路前阿里大数据专家/Apache Linkis PPMC

分享精华：

Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件，以标准化可重用的方式解决“计算治理”问题，提供了强大的连通、管控、编排、扩展和复用能力。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现了变量、函数、脚本文件等用户资源的跨上层应用横向互通。通过将上层应用和底层引擎解耦，Linkis 简化了数据平台复杂的网状调用关系，降低了整体复杂度，节约了开发和运维成本，让数据平台变得更加灵活柔性可控。

1.1.2版本主要功能包括无HDFS模式的精简化部署，支持Sqoop引擎、支持Scriptis单独集成Linkis、用TaskId作为TraceId等。

未来在1.3.0版本中逐步实现云原生化，能够使用容器和k8s简化生产部署、微服务之间资源隔离、多版本支持、复用k8s环境资源等优点。

主题三：《工作流任务调度系统 Schedulis 0.7.0版本发布》

嘉宾：王哲微众银行大数据工程师

分享精华：

Schedulis是一个基于LinkedIn的开源项目Azkaban开发的工作流任务调度系统。该调度系统具备高性能，高可用（去中心化多调度中心和多执行器）和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。

Schedulis支持常规的CommandShell和Linkis（HadoopMR、Hive、Spark、Sqoop、Python）大数据任务；同时还支持特色的数据检查和工作流之间的依赖任务；支持完善的告警和工作流执行策略;提供多种类型的参数设置，动态全局变量和简单易用的UI。

新版本Schedulis 0.7.0 全面适配DSS1.1.0和Linkis 1.1.1版本，修复了用户在使用过程中的问题以及安全漏洞和合并社区贡献者在GitHub上的PR。

主题四：《数据交换平台 Exchangis 1.0.0 版本介绍》

嘉宾：李孟仙翁科技大数据工程师

分享精华：

Exchangis 1.0.0 是微众银行大数据平台 WeDataSphere 与社区用户共同研发的新版数据交换工具，支持异构数据源之间的结构化和非结构化数据传输同步。Exchangis核心特点在于数据同步的稳定性高、响应快，数据源管理轻量化、与DSS工作流打通，实现一站式大数据开发。

在本次新版本中对任务执行和配置模块进行了重构、支持AOOCONN工作流节点模块、支持引擎模块等新功能。

主题五：《数据质量管理平台 Qualitis 0.9.2 版本介绍》

嘉宾：周玉壮微众银行大数据工程师

分享精华：

Qualitis是一个支持多种异构数据源的质量校验、通知、管理服务的数据质量管理平台，用于解决业务系统运行、数据中心建设及数据治理过程中的各种数据质量问题。

Qualitis v0.9.2版本主要 Appconn 的重构以及页面功能的优化，包括文件校验、库级一致性比对配置优化、Dss Qualitis Appconn 新架构适配;安全执行改造（沙箱部署优化）。

主题六：《一站式数据应用开发管理门户 DataSphere Studio 1.1.0 版本介绍》

嘉宾：陆小龙天翼云大数据工程师 / Apache Linkis Committer

分享精华：

天翼云在政府和企事业单位领域有比较大的优势，我们刚好负责的是面向客户的，为了快速响应客户需求，我们需要有一套一站式的大数据平台，并且是完全可以自主可控的。因此经过选型后，发现WDS非常符合我们的需求，最终选择了WDS，并且参与了DSS和Linkis的开源项目，成为社区的贡献者。

在新版本DSS 1.1.0中，集成了DolphinScheduler 1.3.X版本、更友好的新手引导、换肤、帮助手册等前端体验的优化；简化了DSS&Linkis的全家桶安装部署流程、支持老版本升级和AppConn的架构优化。

主题七：《可视化BI工具 Visualis 1.1.0 版本介绍》

嘉宾：饶进阳微众银行大数据工程师

分享精华：

Visualis是一个基于宜信开源项目Davinci开发的数据可视化BI工具。现已集成到一站式数据应用开发门户DataSphere Studio中。Visualis支持拖拽式报表定义、图表联动、钻取、全局筛选、多维分析、实时查询等数据开发探索的分析模式，并提供水印、数据质量校验等金融级增强功能。

本次发布的1.0.0版本，完成了针对DSS1.1.0和Linkis1.x的适配，对接了DSS的结果集可视化分析、工作流报表开发、邮件发送等多个功能，通过实现AppConn规范，接入DSS1.0和Linkis1.0，支持View、Widget、Display、DashBoard工作流节点工作开发，报表制作和报表定时调度功能。

主题八：《流式应用开发管理系统 Streamis 0.2.0 版本介绍》

嘉宾：陈文东萨摩耶科技大数据工程师

分享精华：

Streamis初期是微众银行联合天翼云、仙翁科技和萨摩耶云联合共建的一个流式应用开发管理系统。以DSS&Linkis底座，打造领先的流式应用管理系统；以 Flink为底层计算引擎，应用开发层与DSS的数据应用开发流程整合，提供极简的用户体验;应用执行；集成Linkis计算中间件，打造具备高并发、高可用、多租户隔离和资源管控等能力的流式应用管理能力。• 流式应用开发调试能力；支持流式作业的多版本管理、全生命周期管理、监控告警、checkpoint 和 savepoint 管理能力。

基于Streamis部署简单、第三方依赖少、轻松集成DSS、流式应用的多版本管理能力等优点，萨摩耶科技选择采用Streamis的解决方案并且参与了后续的社区共建。

主题九：《机器学习平台 Prophecis 0.3.2 版本介绍》

嘉宾：吴梓煜微众银行大数据工程师

分享精华：

Prophecis 是WeDataSphere社区开源的一站式机器学习平台，集成多种开源机器学习框架，具备机器学习计算集群的多租户管理能力，提供生产环境全栈化容器部署与管理服务。

Prophecis v0.3.2版本主要发布MLFlow实验及模型工厂模块，同时更新MLLbais部分功能；更新 MLFlow Appconn 模块，MLFlow实验工作流适配DSS新版本；更新 MLSS(Prophecis) Appconn 模块，Prophecis Appconn适配DSS新版。

公众号回复“2022WDS年中大会“获取讲师分享材料

点击“阅读原文”可查看完整视频

— END —

如何成为社区贡献者

1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者

2 ►代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161

3 ►内容贡献：发布WeDataSphere开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：

技术干货 | Linkis实践：新引擎实现流程解析
技术干货 | Prophecis保姆级部署教程
社区开发者专栏 | MariaCarrie：Linkis1.0.2安装及使用指南
4 ►社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；

5 ►其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；

【活动回顾】带你了解一站式开源大数据平台套件WeDataSphere相关推荐

里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级
国家 2035 远景规划提出要加快全面数字化转型的步伐,而"大数据平台"是数字化转型的基础技术之一.对于任何企业来说,建立和维护一个大数据平台都不是一件容易的事情,而建设一个有特色 ...
开源大数据平台的安全实践
开源大数据平台的安全实践刘杰百度(中国)有限公司,北京 100085 摘要:开源大数据平台的安全机制目前并不特别完善,特别是用户认证.日志审计等方案还存在不少问题.分析了开源大数据平台存在的安全隐 ...
开源大数据平台HBase对接OBS操作指南
1 背景介绍华为云对象存储服务可以与HBase大数据生态进行对接,为用户提供计算存储分离的大数据解决方案.该方案具备高性能.低成本的优势,且无扩容问题. 本操作指导书旨在帮助华为云用户在开 ...
直播预告| 一次实用的“企业级开源大数据平台上层应用”指南
本期 WeDataSphere开源社区推出关于 Qualitis.Prophecis.DataSphereStudio和Schedulis四个组件的内容,为大家介绍涵盖数据质量管理平台.机器学习平台. ...
推荐一套开源大数据平台
推荐一套开源大数据平台 https://github.com/WeiYe-Jing/datax-web
阿里云EMR 2.0：重新定义新一代开源大数据平台
摘要:本文整理自阿里云高级产品专家何源(荆杭)在阿里云EMR2.0线上发布会的分享.本篇内容主要分为三个部分: 开源大数据的痛点及EMR产品历程 EMR2.0 新特征总结一.开源大数据的痛点及 ...
Uber 是如何低成本构建开源大数据平台的？
随着 Uber 业务的扩张,为公司业务提供支持的基础数据池也在飞速膨胀,其处理成本水涨船高.当大数据成为我们最大的运维支出项目之一后,我们启动了一项降低数据平台成本的计划.该计划将问题分解为三大分支: ...
EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...
EMR 重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...

【活动回顾】带你了解一站式开源大数据平台套件WeDataSphere

【活动回顾】带你了解一站式开源大数据平台套件WeDataSphere相关推荐

最新文章

热门文章