-----------------------------------------------------分隔符-----------------------------------------------------
数据仓库之电商数仓-- 1、用户行为数据采集==>
数据仓库之电商数仓-- 2、业务数据采集平台==>
数据仓库之电商数仓-- 3.1、电商数据仓库系统(DIM层、ODS层、DWD层)==>
数据仓库之电商数仓-- 3.2、电商数据仓库系统(DWS层)==>
数据仓库之电商数仓-- 3.3、电商数据仓库系统(DWT层)==>
数据仓库之电商数仓-- 3.4、电商数据仓库系统(ADS层)==>
数据仓库之电商数仓-- 4、可视化报表Superset==>
数据仓库之电商数仓-- 5、即席查询Kylin==>

一、电商业务简介

1.1 电商业务流程

电商的业务流程可以以一个普通用户的浏览足迹为例进行说明，用户点开电商首页开始浏览，可能会通过分类查询也可能通过全文搜索寻找自己中意的商品，这些商品无疑都是存储在后台的管理系统中的。

当用户寻找到自己中意的商品，可能会想要购买，将商品添加到购物车后发现需要登录， 登录后对商品进行结算，这时候购物车的管理和商品订单信息的生成都会对业务数据库产生影响，会生成相应的订单数据和支付数据。

订单正式生成之后，还会对订单进行跟踪处理，直到订单全部完成。
电商的主要业务流程包括用户前台浏览商品时的商品详情的管理，用户商品加入购物车进行支付时用户个人中心&支付服务的管理，用户支付完成后订单后台服务的管理，这些流程涉及到了十几个甚至几十个业务数据表，甚至更多。

1.2 电商常识(SKU、SPU)

SKU=StockKeepingUni(t 库存量基本单位) ： 现在已经被引申为产品统一编号的简称， 每种产品均对应有唯一的 SKU 号。
SPU(Standard Product Unit): 是商品信息聚合的最小单位，是一组可复用、易检索的 标准化信息集合。

例如:iPhoneX 手机就是 SPU。一台银色、128G 内存的、支持联通网络的 iPhoneX，就 是 SKU。

tips：
简单来说，SKU、SPU都是指一类产品；SPU表示商品名称、型号相同的一类商品；SKU是指商品名称、型号、各个参数属性也相同的一类商品。
SPU 表示一类商品。好处就是:可以共用商品图片，海报、销售属性等。

1.3 电商系统表结构

本电商数仓系统涉及到的业务数据表结构关系共 34 个表，以订单表、用户表、SKU 商品表、活动表和优惠券表为中心，延伸出了优惠券领用表、支付流水表、活动订单表、订单 详情表、订单状态表、商品评论表、编码字典表退单表、SPU 商品表等，用户表提供用户的详细信息，支付流水表提供该订单的支付详情，订单详情表提供订单的商品数量等情况，商品表给订单详情表提供商品的详细信息。

电商业务表

后台管理系统

1.3.1 活动信息表(activity_info)

1.3.2 活动规则表(activity_rule)

1.3.3 活动商品关联表(activity_sku)

1.3.4 平台属性表(base_attr_info)

1.3.5 平台属性值表(base_attr_value)

1.3.6 商品一级分类表(base_category1)

1.3.7 二级分类表(base_category2)

1.3.8 三级分类表(base_category3)

1.3.9 字典表(base_dic)

1.3.10 省份表(base_province)

1.3.11 地区表(base_region)

1.3.12 品牌表(base_trademark)

1.3.13 购物车表(cart_info)

1.3.14 评价表(comment_info)

1.3.15 优惠券信息表(coupon_info)

1.3.16 优惠券优惠范围表(coupon_range)

1.3.17 优惠券领用表(coupon_use)

1.3.18 收藏表(favor_info)

1.3.19 订单明细表(order_detail)

1.3.20 订单明细活动关联表(order_detail_activity)

1.3.21 订单明细优惠券关联表(order_detail_coupon)

1.3.22 订单表(order_info)

1.3.23 退单表(order_refund_info)

1.3.24 订单状态流水表(order_status_log)

1.3.25 支付表(payment_info)

1.3.26 退款表(refund_payment)

1.3.27 SKU平台属性表(sku_attr_info)

1.3.28 SKU信息表(sku_info)

1.3.29 SKU销售属性表(sku_sale_attr_value)

1.3.30 SPU信息表(spu_info)

1.3.31 SPU销售属性表(spu_sale_attr)

1.3.32 SPU销售属性值表(spu_sale_attr_value)

1.3.33 用户地址表(user_address)

1.3.34 用户信息表(user_info)

二、业务数据采集模块

2.1 MySQL安装

2.1.1 安装MySQL

1. 如图，将安装包和JDBC驱动上传到/opt/software/mysql:
   
2. 卸载自带的Mysql-libs

[xiaobai@hadoop102 mysql]$ rpm -qa | grep -i -E mysql\ | mariadb | xargs =-n1 sudo rpm -e --nodeps

tips: 查询自带的rpm包 -i忽略大小写 -E正则表达式查询 mysql/mariadb; xargs=-n1 表示将上一个命令的输出作为下一个命令sudo rpm -e --nodeps的输入。

若是遇到一些很难删除掉的MySQL戳这里==>

1. 安装MySQL依赖：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 01_mysql-community-common-5.7.16-1.el7.x86_64.rpm
[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm
[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 03_mysql-community-libs-compat-5.7.16-1.el7.x86_64.rpm

1. 安装mysql-client：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 04_mysql-community-client-5.7.16-1.el7.x86_64.rpm

1. 安装mysql-server：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 05_mysql-community-server-5.7.16-1.el7.x86_64.rpm

注⚠️：
若是报以下错误，是由于yum安装了旧版本的GPG keys造成的，从rpm版本4.1后，在安装或升级软件包时会自动检查软件包的签名。

解决方法： 在安装包命令后加上--force --nodeps：

[xiaobai@hadoop102 mysql]$ sudo rpm -ivh 02_mysql-community-libs-5.7.16-1.el7.x86_64.rpm --force --nodeps

1. 启动MySQL：

[xiaobai@hadoop102 mysql]$ sudo systemctl start mysqld

1. 查看MySQL密码：

[xiaobai@hadoop102 mysql]$ sudo cat /var/log/mysqld.log | grep password

2.1.2 配置MySQL

注⚠️：
配置只要是root用户 + 密码，在任何主机上都可以登录MySQL数据库。

1. 用刚查询到的密码进入MySQL：

使用此方法进不去mysql，提示ERROR 1045 (28000): Access denied for user ‘root‘@‘localhost错误的请戳这里==>

1. 设置复杂密码（MySQL密码策略）:

mysql> set password=password("H232%sd=55");

1. 更改MySQL密码策略：

mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;

1. 设置自己的密码：

mysql> set password=password("******");

1. 进入MySQL库：

mysql> use mysql

1. 查询user表：

mysql> select user, host from user;
+-----------+-----------+
| user      | host      |
+-----------+-----------+
| mysql.sys | localhost |
| root      | localhost |
+-----------+-----------+
2 rows in set (0.00 sec)

1. 修改user表，把Host表内容修改为%：

mysql> update user set host="%" where user="root";
Query OK, 1 row affected (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0mysql> select user,host from user;
+-----------+-----------+
| user      | host      |
+-----------+-----------+
| root      | %         |
| mysql.sys | localhost |
+-----------+-----------+
2 rows in set (0.00 sec)

1. 刷新：

mysql> flush privileges;

1. 退出：

mysql> quit

2.2 业务数据生成

2.2.1 连接MySQL

通过Navicat Premium连接MySQL数据库，可先点击连接测试进行测试：

2.2.2 建表语句

1. 通过 Navicat 创建数据库 gmall；

2. 如图，设置数据库编码: 默认字符集设为utf8，默认排序规则设为utf8_general_ci：
   

3. 导入数据库结构脚本(gmall.sql)：打开数据库–>运行sql文件–>gmall.sql–>开始：
   注⚠️：编码选择utf-8；
   

4. 如图，右键点击‘表’ 进行‘刷新’即可看见数据库中的表：
   

2.2.3 生成业务数据

1. 在 hadoop102 的/opt/module/目录下创建 db_log 文件夹：

[xiaobai@hadoop102 module]$ mkdir db_log/

1. 将业务数据生成器以及配置文件 gmall2020-mock-db-2021-01-22.jar 、application.properties 上传到 hadoop102 的 /opt/module/db_log 路径上；
   

2. 根据需求修改 application.properties 相关配置：

logging.level.root=infospring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://hadoop102:3306/gmall?characterEncoding=utf-8&useSSL=false&serverTimezone=GMT%2B8
spring.datasource.username=root
spring.datasource.password=记得修改密码！logging.pattern.console=%m%nmybatis-plus.global-config.db-config.field-strategy=not_null#业务日期
mock.date=2020-06-14
#是否重置     注意：第一次执行必须设置为1，后续不需要重置不用设置为1
mock.clear=1
#是否重置用户 注意：第一次执行必须设置为1，后续不需要重置不用设置为1
mock.clear.user=1#生成新用户数量
mock.user.count=100
#男性比例
mock.user.male-rate=20
#用户数据变化概率
mock.user.update-rate:20#收藏取消比例
mock.favor.cancel-rate=10
#收藏数量
mock.favor.count=100#每个用户添加购物车的概率
mock.cart.user-rate=50
#每次每个用户最多添加多少种商品进购物车
mock.cart.max-sku-count=8
#每个商品最多买几个
mock.cart.max-sku-num=3 #购物车来源  用户查询，商品推广，智能推荐, 促销活动
mock.cart.source-type-rate=60:20:10:10#用户下单比例
mock.order.user-rate=50
#用户从购物中购买商品比例
mock.order.sku-rate=50
#是否参加活动
mock.order.join-activity=1
#是否使用购物券
mock.order.use-coupon=1
#购物券领取人数
mock.coupon.user-count=100#支付比例
mock.payment.rate=70
#支付方式 支付宝：微信 ：银联
mock.payment.payment-type=30:60:10#评价比例 好：中：差：自动
mock.comment.appraise-rate=30:10:10:50#退款原因比例：质量问题 商品描述与实际描述不一致 缺货 号码不合适 拍错 不想买了 其他
mock.refund.reason-rate=30:10:20:5:15:5:5

2.3 Sqoop安装

2.3.1 下载并解压

1. 下载地址:http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/
2. 上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 到 hadoop102 的/opt/software/sqoop 路径中:

[xiaobai@hadoop102 sqoop]$ ll
total 16476
-rw-r--r--. 1 root root 16870735 Oct  3 21:02 sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

1. 解压 sqoop 安装包到指定目录/opt/module/:

[xiaobai@hadoop102 sqoop]$ tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

1. 将/opt/module/目录下的sqoop-1.4.6.bin__hadoop-2.0.4-alpha改名为sqoop：

[xiaobai@hadoop102 module]$ mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

2.3.2 修改配置文件

1. 进入到/opt/module/sqoop/conf 目录，重命名配置文件sqoop-env-template.sh为sqoop-env.sh:

[xiaobai@hadoop102 conf]$ mv sqoop-env-template.sh sqoop-env.sh

1. 修改配置文件

[xiaobai@hadoop102 conf]$ vim sqoop-env.sh

增加如下内容：

export HADOOP_COMMON_HOME=/opt/module/hadoop-3.2.2
export HADOOP_MAPRED_HOME=/opt/module/hadoop-3.2.2
export HIVE_HOME=/opt/module/hive
export ZOOKEEPER_HOME=/opt/module/zookeeper-3.5.7
export ZOOCFGDIR=/opt/module/zookeeper-3.5.7/conf

2.3.3 拷贝JDBC驱动

将原先上传到/opt/software/mysql路径下的JDBC驱动mysql-connector-java-5.1.27-bin.jar拷贝到/opt/module/sqoop/lib/路径下：

[xiaobai@hadoop102 conf]$ cp /opt/software/mysql/mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

2.3.4 验证Sqoop

可通过一些command来验证sqoop配置是否正确，如：

[xiaobai@hadoop102 sqoop]$ bin/sqoop help

如图，会出现一些warning警告和help命令的输出：

2.3.5 测试Sqoop是否能够成功连接数据库

在sqoop根目录下使用以下命令测试sqoop是否可以正确连接数据库：

[xiaobai@hadoop102 sqoop]$ bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306/ --username root --password ******

2.3.6 Sqoop基本使用

将mysql中sku_info表数据导入到HDSF的路径下：

[xiaobai@hadoop102 sqoop]$ bin/sqoop import  \
> --connect jdbc:mysql://hadoop102:3306/gmall \
> --username root \
> --password mysql123 \
> --table sku_info \
> --columns id,sku_name \
> --where 'id>=1 and id<=20' \
> --target-dir /sku_info \
> --delete-target-dir \
> --fields-terminated-by '\t' \
> --num-mappers 2 \
> --split-by id

注⚠️：因为sqoop的mapreduce只有map，无reduce，所以最终输出的文件个数就是map的个数。

2.4 同步策略

数据同步策略的类型包括: 全量同步、增量同步、新增及变化同步、特殊情况 ；

全量表: 存储完整的数据。
增量表: 存储新增加的数据。
新增及变化表: 存储新增加的数据和变化的数据。
特殊表: 只需要存储一次。

2.4.1 全量同步策略

每日全量：就是每天存储一份完整数据，作为一个分区。
适用场景： 适用于表数据量不大，且每天既会有新数据插入，也会有旧数据的修改的场景。
例如:编码字典表、品牌表、商品三级分类、商品二级分类、商品一级分类、优惠规则表、活动表、活动参与商品表、加购表、商品收藏表、优惠卷表、SKU 商品表、SPU商品表。

2.4.2 增量同步策略

每日增量： 就是每天存储一份增量数据，作为一个分区。
适用场景： 适用于表数据量大，且每天只会有新数据插入的场景。
例如:退单表、订单状 态表、支付流水表、订单详情表、活动与订单关联表、商品评论表。

2.4.3 新增及变化策略

每日新增及变化： 就是存储创建时间和操作时间都是今天的数据。
适用场景： 表的数据量大，既会有新增，又会有变化。
例如:用户表、订单表、优惠卷领用表。

2.4.4 特殊策略

特殊策略： 某些特殊的维度表，可不必遵循上述同步策略。

1. 客观世界维度：没变化的客观世界的维度(比如性别，地区，民族，政治成分，鞋子尺码)可以只存一 份固定值。
2. 日期维度：日期维度可以一次性导入一年或若干年的数据。

2.5 业务数据导入 HDFS

2.5.1 分析表同步策略

在生产环境，个别小公司，为了简单处理，所有表全量导入。
中大型公司，由于数据量比较大，还是严格按照同步策略导入数据。

分析表同步策略：

2.5.2 业务数据首日同步脚本

1. 在/home/xiaobai/bin 目录下创建mysql_to_hdfs_init.sh:

[xiaobai@hadoop102 bin]$ vim mysql_to_hdfs_init.sh

在脚本里增加以下内容：

#! /bin/bashAPP=gmall
sqoop=/opt/module/sqoop/bin/sqoopif [ -n "$2" ] ;thendo_date=$2
else echo "请传入日期参数"exit
fi import_data(){$sqoop import \
--connect jdbc:mysql://hadoop102:3306/$APP \
--username root \
--password ****** \
--target-dir /origin_data/$APP/db/$1/$do_date \
--delete-target-dir \
--query "$2 where \$CONDITIONS" \
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \
--null-non-string '\\N'hadoop jar /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date
}import_order_info(){import_data order_info "selectid, total_amount, order_status, user_id, payment_way,delivery_address,out_trade_no, create_time, operate_time,expire_time,tracking_no,province_id,activity_reduce_amount,coupon_reduce_amount,                            original_total_amount,feight_fee,feight_fee_reduce      from order_info"
}import_coupon_use(){import_data coupon_use "selectid,coupon_id,user_id,order_id,coupon_status,get_time,using_time,used_time,expire_timefrom coupon_use"
}import_order_status_log(){import_data order_status_log "selectid,order_id,order_status,operate_timefrom order_status_log"
}import_user_info(){import_data "user_info" "select id,login_name,nick_name,name,phone_num,email,user_level, birthday,gender,create_time,operate_timefrom user_info"
}import_order_detail(){import_data order_detail "select id,order_id, sku_id,sku_name,order_price,sku_num, create_time,source_type,source_id,split_total_amount,split_activity_amount,split_coupon_amountfrom order_detail"
}import_payment_info(){import_data "payment_info"  "select id,  out_trade_no, order_id, user_id, payment_type, trade_no, total_amount,  subject, payment_status,create_time,callback_time from payment_info"
}import_comment_info(){import_data comment_info "selectid,user_id,sku_id,spu_id,order_id,appraise,create_timefrom comment_info"
}import_order_refund_info(){import_data order_refund_info "selectid,user_id,order_id,sku_id,refund_type,refund_num, refund_amount,refund_reason_type,refund_status,create_timefrom order_refund_info"
}import_sku_info(){import_data sku_info "select id,spu_id,price,sku_name,sku_desc,weight,tm_id,category3_id,is_sale,create_timefrom sku_info"
}import_base_category1(){import_data "base_category1" "select id,name from base_category1"
}import_base_category2(){import_data "base_category2" "selectid,name,category1_id from base_category2"
}import_base_category3(){import_data "base_category3" "selectid,name,category2_idfrom base_category3"
}import_base_province(){import_data base_province "selectid,name,region_id,area_code,iso_code,iso_3166_2from base_province"
}import_base_region(){import_data base_region "select id,region_namefrom base_region"
}import_base_trademark(){import_data base_trademark "selectid,tm_namefrom base_trademark"
}import_spu_info(){import_data spu_info "selectid,spu_name,category3_id,tm_idfrom spu_info"
}import_favor_info(){import_data favor_info "selectid,user_id,sku_id,spu_id,is_cancel,create_time,cancel_timefrom favor_info"
}import_cart_info(){import_data cart_info "selectid,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time,source_type,source_idfrom cart_info"
}import_coupon_info(){import_data coupon_info "selectid,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,limit_num,taken_count,start_time,end_time,operate_time,expire_timefrom coupon_info"
}import_activity_info(){import_data activity_info "selectid,activity_name,activity_type,start_time,end_time,create_timefrom activity_info"
}import_activity_rule(){import_data activity_rule "selectid,activity_id,activity_type,condition_amount,condition_num,benefit_amount,benefit_discount,benefit_levelfrom activity_rule"
}import_base_dic(){import_data base_dic "selectdic_code,dic_name,parent_code,create_time,operate_timefrom base_dic"
}import_order_detail_activity(){import_data order_detail_activity "selectid,order_id,order_detail_id,activity_id,activity_rule_id,sku_id,create_timefrom order_detail_activity"
}import_order_detail_coupon(){import_data order_detail_coupon "selectid,order_id,order_detail_id,coupon_id,coupon_use_id,sku_id,create_timefrom order_detail_coupon"
}import_refund_payment(){import_data refund_payment "selectid,out_trade_no,order_id,sku_id,payment_type,trade_no,total_amount,subject,refund_status,create_time,callback_timefrom refund_payment"                                                    }import_sku_attr_value(){import_data sku_attr_value "selectid,attr_id,value_id,sku_id,attr_name,value_namefrom sku_attr_value"
}import_sku_sale_attr_value(){import_data sku_sale_attr_value "selectid,sku_id,spu_id,sale_attr_value_id,sale_attr_id,sale_attr_name,sale_attr_value_namefrom sku_sale_attr_value"
}case $1 in"order_info")import_order_info
;;"base_category1")import_base_category1
;;"base_category2")import_base_category2
;;"base_category3")import_base_category3
;;"order_detail")import_order_detail
;;"sku_info")import_sku_info
;;"user_info")import_user_info
;;"payment_info")import_payment_info
;;"base_province")import_base_province
;;"base_region")import_base_region
;;"base_trademark")import_base_trademark
;;"activity_info")import_activity_info
;;"cart_info")import_cart_info
;;"comment_info")import_comment_info
;;"coupon_info")import_coupon_info
;;"coupon_use")import_coupon_use
;;"favor_info")import_favor_info
;;"order_refund_info")import_order_refund_info
;;"order_status_log")import_order_status_log
;;"spu_info")import_spu_info
;;"activity_rule")import_activity_rule
;;"base_dic")import_base_dic
;;"order_detail_activity")import_order_detail_activity
;;"order_detail_coupon")import_order_detail_coupon
;;"refund_payment")import_refund_payment
;;"sku_attr_value")import_sku_attr_value
;;"sku_sale_attr_value")import_sku_sale_attr_value
;;"all")import_base_category1import_base_category2import_base_category3
import_order_infoimport_order_detailimport_sku_infoimport_user_infoimport_payment_infoimport_base_regionimport_base_provinceimport_base_trademarkimport_activity_infoimport_cart_infoimport_comment_infoimport_coupon_useimport_coupon_infoimport_favor_infoimport_order_refund_infoimport_order_status_logimport_spu_infoimport_activity_ruleimport_base_dicimport_order_detail_activityimport_order_detail_couponimport_refund_paymentimport_sku_attr_valueimport_sku_sale_attr_value
;;
esac

1. 给脚本增加执行权限，见2.5.3⬇️

2.5.3 业务数据每日同步脚本

1. 在/home/xiaobai/bin 目录下创建mysql_to_hdfs.sh:
   在脚本里添加以下内容：

#! /bin/bashAPP=gmall
sqoop=/opt/module/sqoop/bin/sqoopif [ -n "$2" ] ;thendo_date=$2
elsedo_date=`date -d '-1 day' +%F`
fi
import_data(){$sqoop import \
--connect jdbc:mysql://hadoop102:3306/$APP \
--username root \
--password ****** \
--target-dir /origin_data/$APP/db/$1/$do_date \
--delete-target-dir \
--query "$2 and  \$CONDITIONS" \
--num-mappers 1 \
--fields-terminated-by '\t' \
--compress \
--compression-codec lzop \
--null-string '\\N' \
--null-non-string '\\N'hadoop jar /opt/module/hadoop-3.2.2/share/hadoop/common/hadoop-lzo-0.4.20.jar com.hadoop.compression.lzo.DistributedLzoIndexer /origin_data/$APP/db/$1/$do_date
}import_order_info(){import_data order_info "selectid, total_amount, order_status, user_id, payment_way,delivery_address,out_trade_no, create_time, operate_time,expire_time,tracking_no,province_id,activity_reduce_amount,coupon_reduce_amount,                            original_total_amount,feight_fee,feight_fee_reduce      from order_infowhere (date_format(create_time,'%Y-%m-%d')='$do_date' or date_format(operate_time,'%Y-%m-%d')='$do_date')"
}import_coupon_use(){import_data coupon_use "selectid,coupon_id,user_id,order_id,coupon_status,get_time,using_time,used_time,expire_timefrom coupon_usewhere (date_format(get_time,'%Y-%m-%d')='$do_date'or date_format(using_time,'%Y-%m-%d')='$do_date'or date_format(used_time,'%Y-%m-%d')='$do_date'or date_format(expire_time,'%Y-%m-%d')='$do_date')"
}import_order_status_log(){import_data order_status_log "selectid,order_id,order_status,operate_timefrom order_status_logwhere date_format(operate_time,'%Y-%m-%d')='$do_date'"
}import_user_info(){import_data "user_info" "select id,login_name,nick_name,name,phone_num,email,user_level, birthday,gender,create_time,operate_timefrom user_info where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' or DATE_FORMAT(operate_time,'%Y-%m-%d')='$do_date')"
}import_order_detail(){import_data order_detail "select id,order_id, sku_id,sku_name,order_price,sku_num, create_time,source_type,source_id,split_total_amount,split_activity_amount,split_coupon_amountfrom order_detail where DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date'"}import_payment_info(){import_data "payment_info"  "select id,  out_trade_no, order_id, user_id, payment_type, trade_no, total_amount,  subject, payment_status,create_time,callback_time from payment_info where (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')"
}import_comment_info(){import_data comment_info "selectid,user_id,sku_id,spu_id,order_id,appraise,create_timefrom comment_infowhere date_format(create_time,'%Y-%m-%d')='$do_date'"
}import_order_refund_info(){import_data order_refund_info "selectid,user_id,order_id,sku_id,refund_type,refund_num,refund_amount,refund_reason_type,refund_status,create_timefrom order_refund_infowhere date_format(create_time,'%Y-%m-%d')='$do_date'"
}import_sku_info(){import_data sku_info "select id,spu_id,price,sku_name,sku_desc,weight,tm_id,category3_id,is_sale,create_timefrom sku_info where 1=1"
}import_base_category1(){import_data "base_category1" "select id,name from base_category1 where 1=1"
}import_base_category2(){import_data "base_category2" "selectid,name,category1_id from base_category2 where 1=1"
}import_base_category3(){import_data "base_category3" "selectid,name,category2_idfrom base_category3 where 1=1"
}import_base_province(){import_data base_province "selectid,name,region_id,area_code,iso_code,iso_3166_2from base_provincewhere 1=1"
}import_base_region(){import_data base_region "selectid,region_namefrom base_regionwhere 1=1"
}import_base_trademark(){import_data base_trademark "selectid,tm_namefrom base_trademark   where 1=1"
}import_spu_info(){import_data spu_info "selectid,spu_name,category3_id,tm_idfrom spu_infowhere 1=1"
}import_favor_info(){import_data favor_info "selectid,user_id,sku_id,spu_id,is_cancel,create_time,cancel_timefrom favor_infowhere 1=1"
}import_cart_info(){import_data cart_info "selectid,user_id,sku_id,cart_price,sku_num,sku_name,create_time,operate_time,is_ordered,order_time,source_type,source_idfrom cart_infowhere 1=1"
}import_coupon_info(){import_data coupon_info "selectid,coupon_name,coupon_type,condition_amount,condition_num,activity_id,benefit_amount,benefit_discount,create_time,range_type,limit_num,taken_count,start_time,end_time,operate_time,expire_timefrom coupon_infowhere 1=1"
}import_activity_info(){import_data activity_info "selectid,activity_name,activity_type,start_time,end_time,create_timefrom activity_infowhere 1=1"
}import_activity_rule(){import_data activity_rule "selectid,activity_id,activity_type,condition_amount,condition_num,benefit_amount,benefit_discount,benefit_levelfrom activity_rulewhere 1=1"
}import_base_dic(){import_data base_dic "selectdic_code,dic_name,parent_code,create_time,operate_timefrom base_dicwhere 1=1"
}import_order_detail_activity(){import_data order_detail_activity "selectid,order_id,order_detail_id,activity_id,activity_rule_id,sku_id,create_timefrom order_detail_activitywhere date_format(create_time,'%Y-%m-%d')='$do_date'"
}import_order_detail_coupon(){import_data order_detail_coupon "selectid,order_id,order_detail_id,coupon_id,coupon_use_id,sku_id,create_timefrom order_detail_couponwhere date_format(create_time,'%Y-%m-%d')='$do_date'"
}import_refund_payment(){import_data refund_payment "selectid,out_trade_no,order_id,sku_id,payment_type,trade_no,total_amount,subject,refund_status,create_time,callback_timefrom refund_paymentwhere (DATE_FORMAT(create_time,'%Y-%m-%d')='$do_date' or DATE_FORMAT(callback_time,'%Y-%m-%d')='$do_date')"                                                    }import_sku_attr_value(){import_data sku_attr_value "selectid,attr_id,value_id,sku_id,attr_name,value_namefrom sku_attr_valuewhere 1=1"
}import_sku_sale_attr_value(){import_data sku_sale_attr_value "selectid,sku_id,spu_id,sale_attr_value_id,sale_attr_id,sale_attr_name,sale_attr_value_namefrom sku_sale_attr_valuewhere 1=1"
}case $1 in"order_info")import_order_info
;;"base_category1")import_base_category1
;;"base_category2")import_base_category2
;;"base_category3")import_base_category3
;;"order_detail")import_order_detail
;;"sku_info")import_sku_info
;;"user_info")import_user_info
;;"payment_info")import_payment_info
;;"base_province")import_base_province
;;"activity_info")import_activity_info
;;"cart_info")import_cart_info
;;"comment_info")import_comment_info
;;"coupon_info")import_coupon_info
;;"coupon_use")import_coupon_use
;;"favor_info")import_favor_info
;;"order_refund_info")import_order_refund_info
;;"order_status_log")import_order_status_log
;;"spu_info")import_spu_info
;;"activity_rule")import_activity_rule
;;"base_dic")import_base_dic
;;"order_detail_activity")import_order_detail_activity
;;"order_detail_coupon")import_order_detail_coupon
;;"refund_payment")import_refund_payment
;;"sku_attr_value")import_sku_attr_value
;;"sku_sale_attr_value")import_sku_sale_attr_value
;;
"all")import_base_category1import_base_category2import_base_category3import_order_infoimport_order_detailimport_sku_infoimport_user_infoimport_payment_infoimport_base_trademarkimport_activity_infoimport_cart_infoimport_comment_infoimport_coupon_useimport_coupon_infoimport_favor_infoimport_order_refund_infoimport_order_status_logimport_spu_infoimport_activity_ruleimport_base_dicimport_order_detail_activityimport_order_detail_couponimport_refund_paymentimport_sku_attr_valueimport_sku_sale_attr_value
;;
esac

[xiaobai@hadoop102 bin]$ vim mysql_to_hdfs.sh

1. 为以上两个脚本mysql_to_hdfs_init.sh、mysql_to_hdfs.sh增加执行权限：

[xiaobai@hadoop102 bin]$ chmod +x mysql_to_hdfs*

1. 初次导入脚本：

[xiaobai@hadoop102 bin]$ ./mysql_to_hdfs_init.sh all 2020-06-14

输出以下内容表示命令执行完成！

上述命令执行完成后，如图，打开http://hadoop102:9870/即可查看到我们所同步到hdfs上的数据：

1. 每日导入脚本(为后续有增加或修改内容时使用)：

[xiaobai@hadoop102 bin]$ ./mysql_to_hdfs.sh all 2020-06-15

注⚠️：

[ -n 变量值 ] 判断变量的值是否为空：

– 变量的值，非空，返回true；
– 变量的值，为空，返回false。

1. 查看date命令的使用，[xiaobai@hadoop102 ~]$ date --help

do_date=\`date -d -1 day' +%F\`

=后面的命令➕`` 的作用是的作用就是把=后面date -d -1 day' +%F的结果赋给前面的变量do_date！

若不➕`` ，则会将=后面的命令当作一个字符串赋值直接给前面的变量do_date，不是我们想要的结果。

2.5.4 项目经验

Hive中的Null在底层是以“\N”来存储，而MySQL中的Null在底层就是Null，为了保证数据两端的一致性。在导出数据时采用–input-null-string和–input-null-non-string两个参数。导入数据时采用–null-string和–null-non-string。

三、数据环境准备

3.1 Hive安装部署

1. 如图，把apache-hive-3.1.2-bin.tar.gz上传到Linux的/opt/software目录下:
   
2. 解压apache-hive-3.1.2-bin.tar.gz到/opt/module/目录下面：

[xiaobai@hadoop102 hive]$ tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/module/

1. 修改apache-hive-3.1.2-bin.tar.gz的名称为hive:

[xiaobai@hadoop102 module]$ mv apache-hive-3.1.2-bin/ hive

1. 修改/etc/profile.d/my_env.sh，添加环境变量:

[xiaobai@hadoop102 module]$ sudo vim /etc/profile.d/my_env.sh

如图，添加以下内容：

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin!

1. source一下 /etc/profile.d/my_env.sh文件，使环境变量生效：

[xiaobai@hadoop102 module]$ source /etc/profile.d/my_env.sh

3.2 Hive原数据配置到MySQL

3.2.1 拷贝驱动

将MySQL的JDBC驱动拷贝到Hive的lib目录下:

[xiaobai@hadoop102 module]$ cp /opt/software/mysql/mysql-connector-java-5.1.27-bin.jar /opt/module/hive/lib/

3.2.2 配置Metastore到MySQL

在/opt/module/hive/conf/目录下新建hive-site.xml文件:

[xiaobai@hadoop102 conf]$ vim hive-site.xml

添加以下内容：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration><property><name>javax.jdo.option.ConnectionURL</name><value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value></property><property><name>javax.jdo.option.ConnectionDriverName</name><value>com.mysql.jdbc.Driver</value></property><property><name>javax.jdo.option.ConnectionUserName</name><value>root</value></property><property><name>javax.jdo.option.ConnectionPassword</name><value>******</value></property><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value></property><property><name>hive.metastore.schema.verification</name><value>false</value></property><property><name>hive.server2.thrift.port</name><value>10000</value></property><property><name>hive.server2.thrift.bind.host</name><value>hadoop102</value></property><property><name>hive.metastore.event.db.notification.api.auth</name><value>false</value></property><property><name>hive.cli.print.header</name><value>true</value></property><property><name>hive.cli.print.current.db</name><value>true</value></property>
</configuration>

3.3 启动Hive

3.3.1 初始化元数据库

1. 登录MySQL：

[xiaobai@hadoop102 conf]$ mysql -uroot -p
Enter password:

1. 新建Hive元数据库：

mysql> create database metastore;
Query OK, 1 row affected (0.03 sec)

1. 初始化Hive元数据库：

[xiaobai@hadoop102 conf]$ schematool -initSchema -dbType mysql -verbose

提示以下信息表示初始化完成！

0: jdbc:mysql://hadoop102:3306/metastore> !closeall
Closing: 0: jdbc:mysql://hadoop102:3306/metastore?useSSL=false
beeline>
beeline> Initialization script completed
schemaTool completed

3.3.2 启动Hive客户端

1. 启动Hive客户端:

[xiaobai@hadoop102 conf]$ hive

1. 查看一下数据库:

hive (default)> show databases;
OK
database_name
default
Time taken: 2.399 seconds, Fetched: 1 row(s)

数据仓库之电商数仓-- 2、业务数据采集平台相关推荐

1. 2、电商数仓（业务数据采集平台）

   电商业务简介 电商业务流程 电商的业务流程可以以一个普通用户的浏览足迹为例进行说明,用户点开电商首页开始浏览,可能会通过分类查询也可能通过全文搜索寻找自己中意的商品,这些商品无疑都是存储在后台的管理系 ...

2. 数据仓库之电商数仓-- 1、用户行为数据采集

   目录 一.数据仓库概念 二.项目需求及架构设计 2.1 项目需求分析 2.2 项目框架 2.2.1 技术选型 2.2.2 系统数据流程设计 2.2.3 框架版本选型 2.2.4 服务器选型 2.2.5 ...

3. 数据仓库之电商数仓-- 4、可视化报表Superset

   目录 一.Superset入门 1.1 Superset概述 1.2 Superset应用场景 二.Superset安装及使用 2.1 安装Python环境 2.1.1 安装Miniconda 2.1 ...

4. 数据仓库之电商数仓-- 3.4、电商数据仓库系统(ADS层)

   目录 九.数仓搭建-ADS层 9.1 建表说明 9.2 访客主题 9.2.1 访客统计 9.2.2 路径分析 9.3 用户主题 9.3.1 用户统计 9.3.2 用户变动统计 9.3.3 用户行为漏斗 ...

5. 数据仓库之电商数仓-- 3.3、电商数据仓库系统(DWT层)

   目录 八.数仓搭建-DWT层 8.1 访客主题 8.2 用户主题 8.3 商品主题 8.4 优惠券主题 8.5 活动主题 8.6 地区主题 8.7 DWT层首日数据导入脚本 8.8 DWT层每日数据导 ...

6. 数据仓库之电商数仓-- 3.2、电商数据仓库系统(DWS层)

   目录 七.数仓搭建-DWS层 7.1 系统函数 7.1.1 nvl函数 7.1.2 日期处理函数 7.1.3 复杂数据类型定义 7.2 DWS层 7.2.1 访客主题 7.2.2 用户主题 7.2.3 ...

7. 数据仓库之电商数仓-- 5、即席查询Kylin

   目录 一.Kylin 1.1 Kylin简介 1.1.1 Kylin定义 1.1.2 Kylin相关术语 1.1.3Kylin架构 1.1.4 Kylin特点 1.2 Kylin安装 1.2.1 Ky ...

8. 大数据项目之电商数仓、业务数据介绍、电商系统表结构

   文章目录 6. 业务数据介绍 6.1 电商系统表结构 6.1.1 活动信息表(activity_info) 6.1.2 活动规则表(activity_rule) 6.1.3 活动商品关联表(activ ...

9. 离线数仓03——业务数据采集平台

   文章目录 第1章 电商业务简介 1.1 电商业务流程 1.2 电商常识 1.2.1 SKU和SPU 1.2.2 平台属性和销售属性 第2章 业务数据介绍 2.1 电商系统表结构 2.1 MySQL安装 ...

最新文章

1. centos 7 卸载 mariadb 的正确命令
2. 社区O2O的发展与未来
3. Sql Server XML
4. virtualbox mac-debian共享文件夹
5. 巧用 Lazy 解决.NET Core中的循环依赖关系
6. MVC3学习 八 Action和result过滤器及日志处理
7. python经济_python生成器——懒到欠揍，但很经济
8. PHP强制类型定义数组,php – 如何强制Doctrine更新数组类型字段？
9. Linux(debian 7)错误集锦（一）之开机显示 a start job is running for dev-disk 解决办法
10. eclipse ： java项目中的web.xml（ Deployment Descriptor 部署描述文件 ）配置说明
11. 中低频量化交易策略研发05_推进分析
12. 毕业多年没稳定的收入...大龄转行做自动化测试，现在已经快年薪30W
13. oracle中外键的使用方法,Oracle数据库中外键的相关操作整理
14. limeSurvey资料
15. 【深度学习笔记】理解Bicubic，双三次插值
16. （39.1）【XML漏洞专题】必备的基础知识、利用原理、构建规则
17. 量化金融论文：Astock
18. github上传自己的代码
19. 【CC2640】CC2640架构及原理
20. python中文注释与单行注释_Python单行注释方法

热门文章

1. (计算机组成原理题目题型总结）第七、八章：I/O设备与I/O控制方式
2. Origin使用手册/笔记第一部分：工作表行列操作
3. (计算机组成原理)第六章总线-第四节：总线标准
4. [Python]网络爬虫（九）：百度贴吧的网络爬虫（v0.4）源码及解析
5. centos 修改开机画面
6. C/C++的ide编译器CLion的安装及快捷键使用
7. Python环境安装脚本，拷贝环境脚本，命令迁移模块（pip freeze requirements.txt）
8. 钱币兑换问题 （完全背包）
9. 特征工程 - 机器学习
10. JS之scrollTop不起作用的问题(兼容性有问题)