Wherehows项目简介
项目简介:
元数据管理工具wherehows,包含各种元数据的采集、转换、存储、分析等完整的元数据管理项目,
元数据是什么?
元数据就是定义数据的数据,比如数据库的表、字段,HDFS的文件目录结构、文件属性等
wherehows是如何获取元数据的?
主要的方式有如下几种:
1.通过远程sftp上传采集jar文件,远程执行jar文件采集生成采集结果文件,在将生成文件拿回本地
2.通过JDBC连接相关数据库进行查询
3.通过HTTP接口进行数据获取
wherehows相关技术栈(相关内容具体百度学习):
项目实现语言:JAVA+SCALE + PYTHON
相关框架:PlayFramework、Jpython
自动化构建:gradle
前端:NodeJs+Yarn+Ember
数据存储:Mysql
数据检索:elasticsearch
其他:docker
项目模块划分
wherehows-backend ----核心采集转换分析存储模块
依赖 wherehows-etl、wherehows-dao模块
wherehows-frontend ----前端展示模块
依赖wherehows-web、wherehows-dao
wherehows-common ----底层模块
所有模块的基础,定义job执行器、数据模型、工具类等相关基础内容
wherehows-dao ----数据库相关操作模块
提供所有数据库表与数据模型的转换及各种查询功能实现,供Backend与Frontend依赖,需要依赖Commons
wherehows-etl ----es任务相关模块及各种python脚本
所有elasticsearch相关Jobs的采集、转换、分析,供backend依赖,依赖commons模块及采集模块hadoop
wherehows-hadoop
wherehows的hadoop相关的采集方式jar文件源码
wherehows-kafka
暂时未知,应该是定时任务的替代方式,使用kafka消息队列发起采集任务
wherehows-data-model
相关数据模型:初始化sql脚本、初始化ES脚本、ES查询模板、ARVC(JSON与ARVO相互转换的模型)
wherehows-docs
---相关文档
wherehows-docker
---docker方式启动的相关脚本、命令
Wherehows项目简介相关推荐
- 谷粒商城学习笔记——第一期:项目简介
一.项目简介 1. 项目背景 市面上有5种常见的电商模式 B2B.B2C.C2B.C2C.O2O B2B 模式(Business to Business),是指商家和商家建立的商业关系.如阿里巴巴 B ...
- Interview:算法岗位面试—10.31下午上海某银行总部公司(二面,四大行之一)之项目简介、比赛介绍、某个比赛的过程
Interview:算法岗位面试-10.31下午上海某银行总部公司(二面,四大行之一)之项目简介.比赛介绍.某个比赛的过程 导读:明天还有事,更多详细内容后期再更新哈 目录 项目简介.比赛介绍.某个比 ...
- 大数据 互联网架构阶段 电商项目简介
电商项目简介 零.目录 电商项目特点 电商项目技术难点 电商项目简介 开发工具 电商项目架构 开发环境 一.电商项目特点 分布式 数十台服务器,甚至百台.千台.万台,包括:Nigix负载均衡集群.To ...
- 一起谈.NET技术,Microsoft NLayerApp案例理论与实践 - 项目简介与环境搭建
项目简介 Microsoft – Spain团队有一个很不错的面向领域多层分布式项目案例:Microsoft – Domain Oriented N-Layered .NET 4.0 App Samp ...
- h2o.ai源码解析(1)—项目简介
h2o.ai项目简介 参考h2o.ai官网中给出的项目定位是"open source platform for AI".相较于当前市面上的机器学习平台,h2o.ai的优势在于: - ...
- 【obs-studio开源项目从入门到放弃】obs-studio项目简介和架构
文章目录 前言 一.obs-studio项目简介 二.windows平台的编译步骤 三.obs的核心线程 obs视频渲染线程 obs视频编码线程 obs音频编码线程 rtmp发送线程 四.常用插件的介 ...
- 《谷粒商城》-项目简介以及环境搭建
谷粒商城 文章目录 谷粒商城 前言 一.项目简介 1.项目背景 1.1电商模式 1.2谷粒商城 2.项目架构图 2.1项目微服务架构图 2.2微服务划分图 3.项目技术&特色 4.项目前置要求 ...
- 软件工程应用与实践(1)——项目简介和小组分工
2021SC@SDUSC 文章目录 一.项目简介 二.小组分工 三.后端技术 四.后端环境搭建 1,Maven配置 2,依赖的引入 3,连接云数据库 4,启动springboot项目 一.项目简介 本 ...
- 软件工程应用与实践(1)——项目简介,小组分工
2021SC@SDUSC 目录 一.项目简介 二.使用技术 三.小组分工 四.数据预处理 4.1 概述 4.2 相关配置 4.3 具体代码 一.项目简介 老年照护健康知识图谱平台系统是一个面向老年人, ...
- OA项目之项目简介会议发布
目录 OA项目之项目简介 功能简介: 会议发布 1.多功能下拉框上 2. 多功能下拉框下及会议新增 ①.多功能下拉框下 ②.会议新增 OA项目之项目简介 功能简介: 系统管理(用户表的增删改查) 会议 ...
最新文章
- java 子类重写父类的方法应注意的问题
- 7-12 方阵循环右移 (20 分)
- 开票服务器系统是否可以抵扣,开票系统服务费抵扣的账务处理
- 流利阅读 2019.1.22 Top S. Korean animal rights group slammed for destroying dogs
- 阿里云服务器是如何实现每台服务器都是公网IP的呢?
- 【编程原则】预则立,不预则废
- 北京慈文影视制作有限公司诉被告北京百度网讯科技有限公司侵犯著作权纠纷一案判决书
- 实验报告:定义一个名为MyRectangle的矩形类,完成如下要求
- 机房的正确布线方法,四招轻松搞定!
- python将英文单词表示的数字转换成阿拉伯数字的代码
- python人工智能框架有哪些_10个最佳的人工智能开发框架和AI库
- 开发股票类的金融软件需要哪些知识?
- 线性方程组之二:三元一次方程组
- oracle 创建 temporary tablespace
- 《HelloGitHub》第 41 期
- 数据封装与解封装过程
- Java, C, 还是C++?
- Volatile重排序规则的一些理解
- php人像分割 人像抠图 证件照换底色 在线制作证件照API
- 语音识别中的词错率(SER)以及字错率(WER)
热门文章
- 【报错】Failed to start A high performance web server and a reverse proxy server.
- android+即刻点赞,Android开发仿即刻点赞文字部分的自定义View
- Linux 服务器时区、时间校准,定时校准脚本
- 小学生python游戏编程_适合刚入门Python小白的趣味游戏编程
- 廖雪峰Git教程:远程仓库
- 数学知识——博弈论(巴什博奕、尼姆博奕、威佐夫博奕)思路及例题
- pyqt5转pyqt6需要注意的事项
- 富斯FS_I6六通道遥控器玩转APM飞控失控保护
- pe下bootice修复Linux引导,快启动pe工具之bootice引导修复工具使用教程
- cs231n学习记录