数据仓库流程和代码说明

2019独角兽企业重金招聘Python工程师标准>>>

数据源：业务数据库，如：mysql，埋点数据（XA分发到kafka的topic-->flume-->hdfs---->MR程序解析到HDFS-->HIVE外表关联）。

数据仓库各层（stg-ods-mid-dm-fm）:数据图书馆，数据整合

数据应用层：MYSQL，HBASE，es

应用：数据分析，数据挖掘知识学习机器学习知识

其中涉及的技术：

0、hadoop集群知识

1、shell知识

2、HBASE知识

3、hive知识

4、kafka topic知识

5、flume配置

6、java知识，MR编写

7、zookeeper知识

------------------------------------------------

数据仓库的代码框架：

1、数据仓库需要考虑两个问题，1、指定日期，支持重跑；2、连续跑好几天；

需要用到的shell：

1、日期处理语句

去年：echo -e `date --date="2018-12-20 -1 year" +%Y-%m-%d`

上月：echo -e `date --date="2018-12-20 -1 month" +%Y-%m-%d`

昨日：echo -e `date --date="2018-12-20 -1 day" +%Y-%m-%d`

2、打日志

echo 有两个参数 -e -n

echo -e 处理特殊字符

若字符串中出现以下字符，则特别加以处理，而不会将它当成一般文字输出：
\a 发出警告声；
\b 删除前一个字符；
\c 最后不加上换行符号；
\f 换行但光标仍旧停留在原来的位置；
\n 换行且光标移至行首；
\r 光标移至行首，但不换行；
\t 插入tab；
\v 与\f相同；
\ 插入\字符；
\nnn 插入nnn（八进制）所代表的ASCII字符；

转载于:https://my.oschina.net/u/3267050/blog/3002573

数据仓库流程和代码说明相关推荐

数据仓库流程架构（一）
数据仓库流程&架构(一) 定义数据仓库是逻辑上的概念,是一个数据集合. 数据仓库中的数据有这两个特点: - 最全的历史数据(海量): - 相对稳定的:不同于业务系统数据库,数据经常会被更新. ...
【Go API 开发实战 3】API 流程和代码结构
API 流程和代码结构为了使读者在开始实战之前对 API 开发有个整体的了解,这里选择了两个流程来介绍: HTTP API 服务器启动流程 HTTP 请求处理流程本小节也提前给出了程序代码结构图, ...
php做一个微信退款,PHP实现微信申请退款流程实例代码
前面讲了怎么实现微信支付,详见博文:php实现微信支付(jsapi支付)流程和ThinkPHP中实现微信支付(jsapi支付)流程.由于业务需求,还需要有微信退款,经过研究和摸索,也终于搞定了. ...
Task01：熟悉新闻推荐系统的基本流程（代码复现）
Task01:熟悉新闻推荐系统的基本流程 0.代码版本 1.系统信息 2.`python`环境 3.`MySQL`数据库 4.`MongoDB` 5.`Redis` 6.`Node.js` 7. 复现 ...
煤炭价格预测：基于matlab的时间序列分析（主要流程+完整代码）
基于matlab的时间序列分析(主要流程+完整代码) 案例简介时间序列简介平稳时间序列{xt} ARIMA=AR+MA+INTEGRATER 实例应用数据平稳化模型选择--确定p.q ACF/ ...
双重差分模型能做固定效应吗_stata中双重差分操流程及代码
原标题:stata中双重差分操流程及代码一.简介现代计量经济学和统计学的发展为我们的研究提供了可行的工具.倍差法来源于计量经济学的综列数据模型,是政策分析和工程评估中广为使用的一种计量经济方法.主 ...
全流程低代码物联网平台IoT-Fast教你对接labVIEW
导读:IoT-Fast是一款全流程低代码物联网平台,提供了丰富的设备采集控制协议(Modbus RTU 串口.Modbus TCP 网口.通用 OpcUa 通讯协议.西门子 S7 通讯协议.三菱 Fx ...
Web组态——新一代全流程低代码物联网平台
先上图,实际完成效果: Q:那么以上场景是用什么实现的呢? A:IoT-Fast是一款全流程低代码物联网平台,提供了丰富的设备采集控制协议(Modbus RTU 串口.Modbus TCP 网口.通用 ...
MATLAB仿真作图的流程与代码结构-经验总结
文章目录流程简述代码结构 1.第一部分:加载数据 2.第二部分:仿真计算 3.第三部分:绘图命名规则流程简述在长期编写matlab代码中总结出得经验:通过一个合理的流程来写MATLAB代码, ...

数据仓库流程和代码说明

数据仓库流程和代码说明相关推荐

最新文章

热门文章