大数据起步之wormhole初识
第一个接触wormhole是公司的一个开发项目，由于之前供职于宜信，接触到这个开源项目，目前宜信已经推出Davinci、Moonbox、Wormhole、UAV.Monitor等10项领先开源技术，以将宜信的技术和方法开放共享，繁荣技术生态。
开源网址： https://github.com/edp963/wormhole
wormhole的简介：
- Wormhole是一个SPAAS（Stream Processing as a Service）平台解决方案。Wormhole面向大数据项目开发和管理人员，致力于简化和统一开发管理流程。尤其是针对流式实时和流式准实时数据处理场景，Wormhole提供了可视化的操作界面，极简的配置流程，基于SQL的业务开发方式，并屏蔽了大数据处理底层技术细节，极大的降低了开发管理门槛，使得大数据项目开发和管理变得更加轻量敏捷可控可靠。
Wormhole的设计理念：
- 统一流式处理DAG高阶分形抽象：构建由 Source DataSys，Kafka Topic，Spark Stream（Flink Stream），Sink DataSys 组成的物理 DAG；每个物理 DAG 里可以并行处理多个由 Source Namespace，Flow，Sink Namespace 组成的逻辑 DAG；每个 Flow 本身是典型的 Spark RDD DAG
- 统一通用流转消息UMS协议抽象：UMS 是 Wormhole 定义的流消息协议规范；UMS 试图抽象统一所有结构化消息；UMS 自身携带结构化数据 Schema 信息；Wh4 支持用户自定义半结构化 JSON 格式
- 统一表命名空间Namespace定义抽象：Namespace 唯一定位所有数据存储所有结构化逻辑表；[Data System].[Instance].[Database].[Table].[Table Version].[Database Partition].[Table Partition]
wormhole的基本原理：
正在总结。。。。。。。。。。（马上更新）
大数据起步之wormhole初识相关推荐
- 大数据（1）--初识
目录标题 1.大数据 1.1 什么是大数据? 1. 2 大数据相关技术 1.2.1 海量数据获取 1.2.2 海量数据存储 1.2.3 海量数据清洗 1.2.4 海量数据处理 2.网站日志分析系统 2 ...
- 大数据Impala系列之初识Impala
一.impala 概述 1.什么是Impala? Impala是用于处理存储在Hadoop集群中的大量数据的MPP(大规模并行处理)SQL查询引擎. 它是一个用C ++和Java编写的开源软件. 与其 ...
- 大数据python试卷_大数据起步--Python语言-中国大学mooc-试题题目及答案
中档饭店清扫房间定额一般为().A.1416间/人B.1214间/人C.1012间/人D.810间/人 一般情况下,能发生瓦斯爆炸的最低氧气浓度为()A.8%B.12%C.20%D.18% P ...
- 实习一年，自学从Java转向大数据开发
大学如何自学java的文章: https://blog.csdn.net/CatchLight/article/details/112260371 第一份实习offer 专升本的第一学年末,凭借着自学 ...
- 企业大数据运用实战案例分享
一.企业大数据如何起步:从小数据到大数据 目前国内外关于大数据的谈论很多,大多是谈运营级别的,或者说从服务端.服务方提得较多一些.笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说,大数据跟他 ...
- 大数据时代了解一些问题
大数据时代了解一些问题 从2014年开始,大数据备受整个社会的关注!不管是从政府层面,还是到企业层面,对大数据的关注以及研究都是非常火热的!不过,很多人尽管听说了大数据这个东西,但是对这个领域仍然很陌 ...
- python大数据就业方向_大数据专业未来的就业方向有哪些？[黑马程序员]
目前大数据是一个十分热门的行业.一个行业的兴起必定会衍生出相对应的岗位.本篇文章给大家总结下学习大数据后未来可以就业的方向,给大家提供参考. 在数据驱动的未来,大数据人才市场势必会越来越大,而现在仅仅 ...
- 零基础想学大数据？别急！先搞清这一点
在入行大数据开发之前,相信很多同学都存在一些疑虑. 现在入行大数据有前途吗? 学大数据一定要会Java开发吗? 我是零基础,对大数据什么都不懂,能学好吗? .... 大数据时代,给想从事IT行业的人带 ...
- 一篇文章告诉你大数据的重要性
在这10年中,几乎所有行业都或多或少的受到大数据的影响.科技渗透到各个领域,并且已经成为每个处理单元的必要元素.谈到IT行业,具体来说,软件和自动化是较基本的术语,并且用于处理循环的每个阶段 毫无疑问 ...
最新文章
- Producing Open Source Software
- 7、MySQL默认值（DEFAULT）
- 工厂模式例子之计算器的实现
- 在Android App中集成Google登录
- Mybatis高级应用 查询缓存
- JavaScript 火的有点过头了，但又能火多久呢？
- 网页编辑器粘贴word格式的处理
- linux多线程如何分配到多核上,Linux多线程编程 多核编程
- Tomcat(二)环境变量配置
- 机器学习：学习的分类
- 多张图片合成一个tif文件
- 解决vscode的任务栏白色图标的问题
- 记一次npm安装依赖奇怪的gyp报python错误
- EasyExcel生成多个excel.xlsx进行压缩导出
- 阿迪卫衣79/茅台茅韵两瓶149/南极人内裤4条14.9/八杯水九件套59.9
- MAX7219产品级驱动分享
- JAVA练习题17：文字版格斗游戏
- 域适应(DA)---域泛化(DG)
- 项目管理中的三大误区
- 51nod 1001