WhereHows 数据发现和管理工具

WhereHows 是 LinkedIn 公司一个用于大数据发现和管理的工具,集成了所有主要的数据处理系统,可以进行分类收集和元数据操作。方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内部工具和服务的动向。

WhereHows 可以解决很多公司面临的大数据内部分享的问题,提供一个平台让员工进行企业有价值的数据发现和进行一些更深度的分享。当前 LinkedIn 的 WhereHows 存储的数据: 50,000 数据集,14,000 评论和 3500 万作业执行。

1 系统介绍

WhereHows是linkedin开源的数据发现平台,它从各种数据源收集元数据,标准化处理,提供统一的元数据服务。WhereHows的名字与warehouse谐音。同时,还包含了两层含义:

  • Where:数据在哪,即元数据收集。
  • How:数据的前世今生,生产者、消费者是谁,即血缘。

在统一元数据的基础上,平台提供了一系列功能:

  • 数据发现:搜索数据。
  • 数据血缘:跟踪数据集和任务的上下游。
  • 工作流发现:通过项目、流、子流、任务的树结构,查看任务血缘。
  • 提供页面访问及后台API。

2 架构介绍

2.1 总览

官方架构图:

WhereHows 数据发现和管理工具相关推荐

  1. 《近匠》BugTags,所见即所得的 App 缺陷发现及管理工具

    <近匠>第118期,BugTags 是一款专为移动测试而生的免费缺陷发现及管理工具,支持 iOS.Android,所见即所得,用户一行代码即可为 App 极速集成其 SDK,其协同办公特性 ...

  2. 亚马逊数据 各国亚马逊数据API 管理工具

    什么是 API 管理? 应用程序编程接口管理(简称为"API 管理")由一系列工具和服务组成,使开发人员和公司能够在安全的环境中构建.分析.操作和扩展 API.可以在本地.通过云或 ...

  3. 【大数据】大数据 Hadoop 管理工具 Apache Ambari(HDP)

    文章目录 一.概述 二. Ambari 与 HDP 关系 三.Ambari 与 Cloudera manager 的对比 1)开源性 2)支持的发行版 3)用户界面 4)功能和扩展性 5)社区支持和生 ...

  4. 04: 用户授权及撤销 、 数据备份与恢复 、 MySQL管理工具

    day04 一 .管理root用户密码 1.1 修改密码 1.2 恢复密码 二.用户授权与权限撤销 2.1 授权 2.2 撤销权限 三.安装图形管理工具 四 数据备份与恢复 ----- 完全备份与恢复 ...

  5. MySQL初识-架构-安装-初始化-连接-管理工具-数据文件

    MySQL架构和结构分析 官方架构图 内部组件结构图 MySQL安装方式 MySQL初始化 MySQL工作模式及常用命令 交互式模式:mysql> 1 2 3 4 5 6 7 8 9 10 11 ...

  6. Cloudera Manager —— 端到端的企业数据中心管理工具

    原文 本文翻译自 Cloudera Manager 官方手册--CLOUDERA MANAGER : End-To-End Administration for Your Enterprise Dat ...

  7. 管理工具导入CSV文件,中文数据乱码的解决办法。

    瀚高数据库 目录 环境 症状 问题原因 解决方案 环境 系统平台:Linux x86-64 Red Hat Enterprise Linux 7 版本:6.0 症状 管理工具的导入功能,使用CSV格式 ...

  8. php 邮箱管理软件,Tmail 一个非专业的强大的小型邮件管理工具,用来读取 列表数据发送大量的 ,简单 WEB(ASP,PHP,...) 256万源代码下载- www.pudn.com...

    文件名称: Tmail下载  收藏√  [ 5  4  3  2  1 ] 开发工具: PHP 文件大小: 1161 KB 上传时间: 2016-05-09 下载次数: 0 详细说明:一个非专业的强大 ...

  9. 达梦数据库--管理工具,数据迁移工具使用

    国产话达梦数据库,常用工具:达梦管理工具,达梦数据迁移工具. 1.达梦管理工具主要类似于navicat,是数据库可视化工具,新建连接输入IP,端口,账号,密码即可连接数据库. 之后在模式中,可以查看该 ...

  10. 西部数据php一键安装,【贪狼某道1.60特色服务端】WD某道1.60一键安装客户端带GM管理工具[附视频搭建教程]...

    [贪狼某道1.60特色服务端]WD某道1.60一键安装客户端带GM管理工具[附视频搭建教程] 出生就进传送阵 然后地上宝箱随便点就125了 你会看到北极仙翁 前面传送阵出来就能看到他哥哥南极仙翁 领取 ...

最新文章

  1. 智能连接:5G、AI和IoT的组合如何改变美洲
  2. oracle创建带参数视图6,Oracle创建带有参数的视图代码介绍
  3. java tomcat mysql_java+tomcat+mysql实现登录界面基本思路
  4. 一、烧写最小linux系统
  5. Altium Designer-Net has no driving source解决办法
  6. CVPR 2020 | CMU HKUST提出binary网络自动化搜索,同时实现超高压缩与高精度
  7. 算法-计算逆序对个数
  8. 抓包工具-charles安装过程
  9. 关于职场晋升,这是我的7点具体建议
  10. 来自平时工作中的css知识的积累---持续补充中
  11. pythonddos防御_一个自动封IP防御DDOS脚本
  12. C# 读取Oracle数据库数据
  13. 面试题——内网相关(一)
  14. MAC 青花瓷(Charles)爪机HTTPS 抓包
  15. “Uncaught TypeError: $(...).dataTable is not a function”
  16. 浅谈web前端工程师hr面试经典问题20+
  17. 百度网盘网页倍速播放
  18. 学习笔记:MAC协议 5GNR
  19. 有关esp8266OTA升级的过程
  20. 打开eclipse 运行发现tomcat出问题。如路径找不到 (1)eclipse 运行出现:The archive:C:/tomcat/bin/bootstrap.jar which is refe

热门文章

  1. 大数据平台应用 17 个关键技术处理
  2. 【Android】雾霾定位探测系统
  3. 西贝柳斯好用吗?Mac打谱软件Sibelius 8
  4. [答疑]纪检监察部门的业务用例图
  5. 【华为 OJ】 字符串分割
  6. 2018北京java面试心得体会(一年经验)
  7. Git学习笔记之廖雪峰Git教程
  8. 钉钉直播回放视频的下载方法( fd抓包配合m3u8 )
  9. vc2013 调用大漠插件例子
  10. JavaScript---BOM和DOM