生成日期维度数据

经过需求分析我们发现指标统计需要的日期类型比较多如果在事实表的时间字段上做文章，比较复杂，甚至有些根本无法获取到比如节假日、休息日、工作日信息。所以我们可以考虑提前准备一张日期维度表，准备好指标统计的日期类型。
利用我们前面学习的kettle工具生成日期维度数据，需要借助于kettle的js脚本组件。
kettle实现思路：

日期使用 Canlendar、SimpleDateFormat，编写Javascript脚本实现
国家法定节假日实现，需要往http://timor.tech/api/holiday/info/2018-03-02年月日，发送请求，获取结果，以下为该REST API接口简介

1、接口地址：http:/

Kettle生成日期维度数据(数仓项目)相关推荐

2、用Kettle生成日期维度数据（一）使用kettle生成2019年日期文件保存到hive表中
记录5月4号导入数据的过程,以后更方便使用这个方法最终生成的ktr链接链接:https://pan.baidu.com/s/1YJv7C7RIBawyzJD4j6DLMA 提取码:9de2 复制这 ...
【大数据数仓项目集群配置一】
本文用于记录我的第一次内网大数据集群配置过程. 本篇主要实现基础配置. 配置使用的软件版本和脚本参考自尚硅谷,链接如下: 链接: https://www.bilibili.com/video/BV1r ...
大数据数仓项目总结（一）需求、技术选型、框架版本、服务器、集群规模
文章目录一.需求描述 1)项目大致需求 2)需考虑的问题二.项目框架及选型 1.技术选型 2.项目架构与数据流程 3.框架版本选择 1)Hadoop发行版本选择 2)Apache框架版本具体型号 ...
大数据千亿级离线数仓项目第一天环境部署和etl
千亿级数仓项目第01天讲义课程目标了解大数据离线数仓架构了解项目部署环境(数据规模和集群规模) 掌握ETL工具 Kettle常用组件的使用能够掌握kettle作业与转换区别以及linux部署 ...
大数据数仓建模 - 维度建模实战及思路过程（两年数仓建模经验纯干货）
数仓维度建模维度建模方法论: 维度建模是以业务过程为驱动先确定某些业务过程围绕业务过程去建立模型通常采用自底向上的方法从明确关键业务过程开始再到明确粒度再到明确维度最后明确事实在 ...
Kettle使用_17 计算器生成时间维度数据
Kettle使用_17 计算器生成时间维度数据需求: 通过Kettle的组件自动生成时间维的数据. 解决方法:结合增加序列.计算器.选择字段等组件解决,这里主要是通过计算器里的支持的计算类型来实现的 ...
Python + 大数据 - 数仓实战之智能电商分析平台
Python + 大数据 - 数仓实战之智能电商分析平台 1. 项目架构 2. 数据仓库维度模型设计-事实表事实表的特征:表里没有存放实际的内容,他是一堆主键的集合,这些ID分别能对应到维度表中的一 ...
电商离线数仓项目实战（下）
电商离线数仓项目实战(下) 电商分析--核心交易文章目录电商离线数仓项目实战(下) 电商分析--核心交易一.业务需求二.业务数据库表结构 1. 数据库表之间的联系 img 2. 业务数据库-- ...
本地数仓项目(二)——搭建系统业务数仓详细流程
1 说明本文基于<本地数据仓库项目(一)--本地数仓搭建详细流程>业务数据,在本地搭建系统业务数仓. 根据模拟sql脚本生成业务数据,依次执行生成业务数据即可. sql脚本提供如下链接 ...

Kettle生成日期维度数据(数仓项目)

目录

生成日期维度数据

Kettle生成日期维度数据(数仓项目)相关推荐

最新文章

热门文章