数据中台到底如何落地实现【含架构图及代码】
数据中台已经被很多公司应用,数据中台资料也不少,可是作为程序员更关心的是该如何代码实现。下面是中台相关代码实现及说明。
数据中台说明:
Todo:
CDH, hbase,zk 部署和配置。代码发布。
presto , redis集群,cachecloud 部署。
Hive 开发的流程。azkaban安装部署。
Doubble 服务安装部署。
MySQL的在模块里的配置。
项目说明
项目整体架构
数据服务中心管理了所有业务服务的数据访问,业务层对外提供的是dubbo接口或Rest风格接口,路由网关负责对外接口的管理,是的web应用或其他三方应用的访问具有可控性
big-cbr(报表系统)
数据报表系统,报表元数据存储在数据库,可以通过前端进行动态配置报表的样式和数据查询功能
big-dbms(数据库管理系统)
可以理解它为’一个超级大的数据访问层’,在整个项目中承担了所有数据访问的工作,
big-dbms-server(数据查询服务系统)
提供数据的查询功能,可集成数据源有:mysql,hive,presto
big-gateway(服务网关)
所有对外服务接口api(dubbo,http)管理中心,可配置api的超时,权限,重试次数
big-msg(消息推送 提醒)
公司内部模块(考虑删除)
big-whtc(数仓配置服务)
提供数仓的基本任务配置功能,提供datax的配置
bigdata-interface(模块的对外服务接口)
所有模块间的调用接口信息
bigdata-parent(父工程)
包含了所有基础框架 详情
部署顺序
一、部署安装前置依赖服务
1、安装部署zookeeper
网上资料较多,不在赘述
2、安装部署nacos
1). 下载地址:
https://github.com/alibaba/nacos/releases
2). 解压 nacos-server-1.0.0-RC1.tar.gz
目录结构:
|---nacos
|------|---bin
|------|---conf
|------|---data
|------|---plugins
|------|---target
3). 创建数据库:nacos-config,
在将nacos/conf/nacos-mysql.sql sql中的表数据刷入nacos-config中
4). 修改nacos/conf/application.properties
在文件末尾添加以下内容
db.num=1
db.url.0=jdbc:mysql://188.188.22.165:3306/nacos_config?characterEncoding=utf8&connectTimeout=1000&socketTimeout=3000&autoReconnect=true
db.user=root
db.password=123
注意:将数据库连接改一下
5). 启动nacos
进入nacos/bin目录,执行startup.sh 或startup.cmd
6). 打开web页面
地址:127.0.0.1:8848/nacos
用户名:nacos 密码:nacos
3、安装部署sentinel
主要是安装一个控制台,实时接受服务传来的运行参数,以及实时更改或配置一些限流策略
1)、下载
https://github.com/alibaba/Sentinel/releases
选择sentinel-dashboard-1.5.0.jar 下载
2)、安装部署
执行以下命令即可
java -jar sentinel-dashboard-1.5.0.jar
3)、访问web页面
默认端口是8080:127.0.0.1:8080
4、安装部署cachecloud
此处有两种部署方式:
方式一、可以根据官方文档进行部署admin控制台
部署文档
方式二、以下是源码部署
1)、刷入sql
在script文件夹中有cachecloud.sql 文件,新建数据库(cache_cloud),将sql中的数据刷入该库中
2)、 修改配置
进入cachecloud/cachecloud-open-web/src/main/swap文件夹可以看到两个文件
local.properties(开发环境的配置文件)
online.properties(生产环境的配置文件)
*注:主要修改其中的数据库连接信息
2)、编译源码
进入cachecloud
mvn clean install
进入cachecloud/cachecloud-open-web 执行:
mvn clean package -Plocal # 开发环境
mvn clean package -Ponline # 生产环境
3)、部署
进入cachecloud/cachecloud-open-web/target下;找到cachecloud-open-web-1.0-SNAPSHOT.war
进入cachecloud/script下找到start.sh
mkdir -p /opt/cachecloud-web/logs
将cachecloud-open-web-1.0-SNAPSHOT.war和start.sh 一起复制到指定的发布目录/opt/cachecloud-web下
*注:目录权限要保证(推荐使用一个新用户,而不是root)
4)、启动
chmod +x start.sh
./start.sh #直接启动
5)、验证
127.0.0.1:9999 (开发环境)
127.0.0.1:8585 (生产环境)
用户名:admin
默认密码:admin
二、部署bigdata-parent
因为此项目是其他项目的依赖,所以需要最先部署
cd path/to/bigdata-parent
mvn clean install
三、部署数据服务中心项目
代码下载
链接:
https://pan.baidu.com/s/1_WNnt690-WWf8BX8uvNaKw
提取码: uscr
作者:sevenfang
来源:https://github.com/sevenfang/DataCenter
领取更多数据中台资料及100本大数据、人工智能电子书,可扫下面微信。
如果你也是大数据、人工智能爱好者,加微信领书100本大数据、人工智能、区块链等精选书籍,还可以加讨论群交流。
----------------------------END----------------------------
本公众号精彩文章推荐:
【1】程序员必备的分析解决问题能力:案例分享
【2】Hbase故障处理汇总及评注
【3】技术太多学不过来?教你如何越学越带劲
【4】IT大咖工作十年总结的面试真经
【5】小白与大神存在哪些差距
【6】Logstash收集多数据源数据神器
【7】kafka学习线路指导入门:包括理论、部署、实战知识汇总整理
【8】技术走向管理一些深度思考
数据中台到底如何落地实现【含架构图及代码】相关推荐
- 数据中台到底是解决什么问题的
数据中台到底是解决什么问题的 文章目录 数据中台到底是解决什么问题的 概述 让数据用起来 业务数据化,数据业务化 企业发展与信息化建设中的痛点 企业数字化转型 数据中台的出现 数据资产管理 数据中台 ...
- 数据中台到底包括什么内容?一文详解架构设计与组成
01 数据中台功能架构 数据中台建设是一个宏大的工程,涉及整体规划.组织搭建.中台落地与运营等方方面面的工作,本节重点从物理形态上讲述企业的数据中台应该如何搭建.一般来讲,企业的数据中台在物理形态上分 ...
- channelinboundhandler中都包含了哪一类的方法_数据仓库、数据集市、数据湖、数据中台到底有什么区别?都得做吗?...
点击上方蓝字关注数据玩家 经常看到有人问这个问题,数据玩家也看过很多解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明. 什么是数据仓库? 大家都去宜家买过东西吧,还记得一楼的大仓库不,你 ...
- 数据仓库、数据集市、数据湖、数据中台到底有什么区别?
经常看到有人问这个问题,数据玩家也看过很多解释,感觉都不够直观,这里,我尝试用一个大家都理解的例子来说明. 什么是数据仓库? 大家都去宜家买过东西吧,还记得一楼的大仓库不,你如果看中了某个家具,想要自 ...
- 数据中台:一个会动用组织架构的一把手工程
文章目录 简介 01 一把手工程 02组织架构调整 03 垂直业务线调整 总结 简介 数据中台强调的是一种复用能力.很多企业的愿景都是"将数据用起来",这也是数据平台类型企业基础设 ...
- 数据产品_数据中台02_数仓模型和架构
名词解释 一些必须掌握的专有名词 基础层-ODS(Operational Data Store-操作型数据存储) 未经过加工处理的原始数据:记录事实的唯一版本,业务系统产生的原始数据,原封不动的同步到 ...
- Tkinter登录界面美化(含背景图、代码注释)
首先给大家展示一下成品! 最近本poss哥自己写出了以上风格的登录界面.不得不说,因为tkinter内置库可设置组件的参数有限,UI界面我只能做到这一步啦. 等不及要完整代码的小伙伴可以在网盘链接下载 ...
- 10张架构图详解数据中台,附全套数据中台PPT
数据中台到底是什么,几年过去了,一直众说纷. 笔者认为数据中台不应该是一个单纯的系统或者是一个软件工具,而应该是一套架构.一套数据流转模式. 数据中台需要采集数据作为原材料进行数据加工.数据建模.然后 ...
- 到底什么是数据中台?
到底什么是数据中台? 2019-07-252019-07-25 16:40:26阅读 13.4K0 最近可能大家听到"数据中台"这个词越来越频繁了,有时候我跟一些朋友聊起来,也是都 ...
最新文章
- C#中IList与List区别
- mysql amoeba 配置_Amoeba新版本MYSQL读写分离配置
- 数据结构实验之链表五:单链表的拆分
- Java 9 揭秘(1. 入门介绍)
- myqsl cluster error code 2310
- Linux oracle(常用命令)启动、停止、监听
- 配色方案|平板羽毛集,为你的下个作品做安排
- Linux下服务器搭建(1)——Linux下搭建FTP服务器 vsftpd服务
- 一种基于memcache或redis缓存架构的验证码
- 欢迎使用CSDN-markdown编辑器231
- 手机上php文件用什么打开方式,php是什么文件格式 php文件打开方法【图文】
- 买到Windows新电脑必做的6个优化设置(强烈建议)
- 亚马逊美国站审核便携式火炉逊、户外烧烤架ASTM F3363测试项目
- itools电脑显示服务器维护,win10系统iTools无法打开且服务无法启动的具体技巧
- 鲁大师4月安卓新机性能/流畅榜:ROG游戏手机7摘得性能桂冠 vivo登顶流畅榜
- 微型计算机最早应用于,计算机文化基础题库(含答案)
- 零失误绕制无线充电线圈
- C语言学习1——第一、二、三章学习记录
- 【codevs 1373】射命丸文
- 202*新华三杯初赛试题
热门文章
- 线性代数-01矩阵与行列式
- C++中的代码重用(1)
- 影响搜索引擎排名因素包括几个
- 云顶之弈机器人怎么拉人_LOL云顶之弈10.16b机器人怎么玩_云顶之弈10.16b机器人装备站位_3DM网游...
- CSDN博客和OJ,两种积累编程代码量的方法对比
- 微软拼音输入法 linux,微软称Linux将会消失 后者回应将反击
- 刷脸支付取款等人脸识别技术商用开始普及
- Grammer -- 助动词
- 分分钟进阶MongoDB
- 动态规划解二维多重背包问题