Python+大数据-数仓实战之滴滴出行(二)

1. 数据转移

#验证sqoop是否工作
/export/server/sqoop-1.4.7/bin/sqoop list-databases \
--connect jdbc:mysql://192.168.88.100:3306/ \
--username root \
--password 123456

2. MySQL建表

1:mysql创建目标数据库和目标表#创建目标数据库create database if not exists app_didi;#创建订单总笔数目标表create table if not exists app_didi.t_order_total(order_date date,count int);导出订单总笔数表数据/export/server/sqoop-1.4.7/bin/sqoop export \--connect jdbc:mysql://192.168.88.100:3306/app_didi \--username root \--password 123456 \--table t_order_total \--export-dir /user/hive/warehouse/app_didi.db/t_order_total/month=2020-042.在mysql中创建目标表create table if not exists app_didi.t_order_subscribe_name_count( date_val date comment '日期', subscribe_name varchar(20) comment '预约和非预约名字',total_cnt int comment '订单数') ;sqoop导出/export/server/sqoop-1.4.7/bin/sqoop export \--connect jdbc:mysql://192.168.88.100:3306/app_didi \--username root \--password 123456 \--table t_order_subscribe_name_count \--export-dir /user/hive/warehouse/app_didi.db/t_order_subscribe_name_count/month=2020-04#创建不同时段订单统计目标表--1:在mysql创建目标表create table if not exists app_didi.t_order_timerange_total(order_date date ,timerange varchar(20) ,count int );--2：sqoop导出/export/server/sqoop-1.4.7/bin/sqoop export \--connect jdbc:mysql://192.168.88.100:3306/app_didi \--username root \--password 123456 \--table t_order_timerange_total \--export-dir /user/hive/warehouse/app_didi.db/t_order_timerange_total/month=2020-04#创建不同地域订单统计目标表--1:在mysql创建目标表create table if not exists app_didi.t_order_province_total(order_date date ,province varchar(20) ,city varchar(20),count int );--2：sqoop导出/export/server/sqoop-1.4.7/bin/sqoop export \--connect jdbc:mysql://192.168.88.100:3306/app_didi \--username root \--password 123456 \--table t_order_province_total \--export-dir /user/hive/warehouse/app_didi.db/t_order_province_total/month=2020-04#创建不同年龄段，不同时段订单目标表--1: 在mysql创建目标表create table if not exists app_didi.t_order_age_and_time_range_total(order_date date ,age_range varchar(20) ,order_time_range varchar(20) ,count int );--2:sqoop导出/export/server/sqoop-1.4.7/bin/sqoop export \--connect jdbc:mysql://192.168.88.100:3306/app_didi \--username root \--password 123456 \--table t_order_age_and_time_range_total \--fields-terminated-by '\t' \--export-dir /user/hive/warehouse/app_didi.db/t_order_age_and_time_range_total/month=2020-04

Python+大数据-数仓实战之滴滴出行(二)相关推荐

Python+大数据-数仓实战之滴滴出行(一)
Python+大数据-数仓实战之滴滴出行(一) 1. 项目架构图 1.1 数据流程处理 1.2 数仓分层 1.3 创建数据库在Hive中创建数据库-- 创建ods库 create database ...
Python + 大数据 - 数仓实战之智能电商分析平台
Python + 大数据 - 数仓实战之智能电商分析平台 1. 项目架构 2. 数据仓库维度模型设计-事实表事实表的特征:表里没有存放实际的内容,他是一堆主键的集合,这些ID分别能对应到维度表中的一 ...
滴滴出行大数据数仓实战
我正在参加年度博客之星评选,请大家帮我投票打分,您的每一分都是对我的支持与鼓励. 2021年「博客之星」参赛博主:Maynor大数据 (感谢礼品.红包免费送!) https://bbs.csdn.ne ...
【大数据数仓项目集群配置一】
本文用于记录我的第一次内网大数据集群配置过程. 本篇主要实现基础配置. 配置使用的软件版本和脚本参考自尚硅谷,链接如下: 链接: https://www.bilibili.com/video/BV1r ...
大数据数仓建模（3）
大数据数仓建模(3) 2.2.6 人员配置参考 1.旁敲侧击的问你到底做过没有 2.你们大概规模,数据量 1整体架构属于研发部/技术部/数据部/基础平台部,我们属于大数据组,其他还有后端项目组,前端 ...
大数据/数仓面试灵魂30问
1.什么是数据仓库?如何构建数据仓库?(如果这个问题回答的好,后面很多问题都不需要再问) 2.如何建设数据中台?可简单说下理解与思路 3.数据仓库.数据中台.数据湖的理解 4.传统数仓的程度(建模工具 ...
大数据/数仓面试灵魂30问（转）
1.什么是数据仓库?如何构建数据仓库?(如果这个问题回答的好,后面很多问题都不需要再问) 2.如何建设数据中台?可简单说下理解与思路 3.数据仓库.数据中台.数据湖的理解 4.传统数仓的程度(建模工具 ...
大数据数仓高级面试题整理
大家好,给大家整理了一下大数据数仓高级面试题,希望大侠们能够喜欢. 数仓高内聚低耦合是怎么做的定义高内聚:强调模块内部的相对独立性,要求模块内部的元素尽可能的完成一个功能,不混杂其他功能,从而使模 ...
大数据数仓建模 - 维度建模实战及思路过程（两年数仓建模经验纯干货）
数仓维度建模维度建模方法论: 维度建模是以业务过程为驱动先确定某些业务过程围绕业务过程去建立模型通常采用自底向上的方法从明确关键业务过程开始再到明确粒度再到明确维度最后明确事实在 ...

Python+大数据-数仓实战之滴滴出行(二)

Python+大数据-数仓实战之滴滴出行(二)

1. 数据转移

2. MySQL建表

Python+大数据-数仓实战之滴滴出行(二)相关推荐

最新文章

热门文章