数据仓库架构的技术选型
目前主流公司应用比较广泛的大数据数据仓库架构：
增加了以下内容：
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上
消息系统：可以加入Kafka防止数据丢失
实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中
机器学习：使用了Spark MLlib提供的机器学习算法
多维分析OLAP：使用Kylin作为OLAP引擎
数据可视化：提供可视化前端页面，方便运营等非开发人员直接查询
数据仓库架构的技术选型相关推荐
- 电商数仓:用户行为数据仓库(一)数据仓库建设和技术选型
文章目录 数据仓库概念 项目需求分析 架构设计 技术选型 系统结构设计 数据流程设计 框架和版本选型 集群资源规划设计 数据仓库概念 数据仓库(Data WareHouse),简写为DW或DWH,为企 ...
- 架构师技术选型所需要考虑的要素
架构师技术选型所需要考虑的因素 后续展开讲,目前只是做一个目录 1. 切合业务 2. 社区活跃度 3. 团队整体的技术水平 4. 版本更新迭代周期 5. 试错精神 敢于踏出第一步,但是千万不要再线上环 ...
- 数据中台功能架构和技术选型
数据中台的典型功能架构: 广义的讲数据中台是直接服务于业务系统的数据服务工厂,狭义上讲,数据中台就是可复用的数据API. 站在企业架构的角度,从广义上来讲,数据中台(包含数据平台,数据仓库)应该提供的 ...
- 数据中台架构与技术选型
转自:https://www.sohu.com/a/396680882_411876?scm=1002.44003c.17c024f.PC_ARTICLE_REC 作者:颜博,马蜂窝数仓研发总监 1. ...
- 微服务架构下的核心话题 (三)：微服务架构的技术选型
前期回顾: 微服务架构下的核心话题 (一):微服务架构下各类项目的顺势崛起 微服务架构下的核心话题 (二):微服务架构的设计原则和核心话题 一.前言 为了实现基于微服务开发的产品,或者说为了将单体应用 ...
- 跨端架构的技术选型 2022
1. 跨端架构的意义 在<The Pragmatic Programmer>(中文翻译为<程序员修炼之道>)中,作者提了一个 DRY(Don't Repeat Yourself ...
- 电商平台-系统架构与技术选型
1. 硬件环境 公司服务器 2. 软件环境 2.1 操作系统 Linux CentOS 6.8系列 2.2 反向代理/web服务器 Nginx 2.3 应用服务器 Jdk7+ Tomcat 7 ...
- 实时流处理架构与技术选型
flume:分布式日志收集 kafka:消息队列(起到一个缓冲的作用,避免实时流处理框架压力太大)
- 小红书MVP系统架构与技术选型（一）
服务端 servicer:Python+Flask 设计模式: 分层:Data.DAO.Business 备选:消息队列 数据库:MySQL,备选:HDFS 笔记数据 用户笔记互动数据 用户数据 用户 ...
最新文章
- 第二十六篇 面向对象初识
- C#中成员初始化顺序
- matPlotLib绘制决策树
- 移动端ios和安卓input问题
- 技术人必读：如何让自己成长为IT项目管理者
- 三.Mybatis 多对一与一对多
- TeamCity VS Jenkins：选择正确的CI / CD工具
- (转)用MongoDB 实现优酷API 缓存
- 估算的合同总价与实际的合同总价
- Windows10 调整屏幕颜色，设置暖色屏幕的办法
- ng-include
- 2019年南京大学计算机研究生复试分数线,2019年南京大学研究生复试分数线
- 羊毛党 青龙-阿东和非阿东脚本仓库大全
- 刚生了宝宝后需要及时办理的6个证件
- 跨站脚本攻击漏洞（XSS）：基础知识和防御策略
- 利用range表单元素实现调色板
- redis连接超时，本地连接不上服务器上的redis
- CSS揭秘——毛玻璃效果
- 为什么终结符只有综合属性？
- 华为HCNA之配置Trunk实验