Hadoop 表和字段

一、Hadoop建表
1.1 创建无分区表
CREATE TABLE wxwy.DIM_CITY
(
UNIQUE_KEY STRING,
CITY_NAME STRING,
COMPANY_ID DOUBLE
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘|’
WITH SERDEPROPERTIES (‘field.delim’=’|’, ‘serialization.format’=’|’)
TBLPROPERTIES (‘serialization.null.format’=’’)

1.2 创建分区表
CREATE TABLE wxwy.F_L_C_SctpAssoc_Q
(
dn STRING,
sctpassoc_uk STRING,
sctpassoc_name STRING,
managedelement_uk STRING,
omc_uk STRING,
omc_name STRING,
vendor_uk STRING,
vendor_name STRING,
sig_sctpdatachunksent DOUBLE,
sig_sctpdatachunkreceived DOUBLE,
sig_sctpdatachunkresent DOUBLE,
sig_sctpcongestionduration DOUBLE,
sig_nbrsctpcongestion DOUBLE,
sig_sctpunavailableduration DOUBLE,
sig_nbrsctpunavailable DOUBLE,
start_time STRING,
end_time STRING,
rmuid STRING
)
PARTITIONED BY
(
partitionday STRING,
partitionhour STRING )
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘|’
WITH SERDEPROPERTIES (‘field.delim’=’|’, ‘serialization.format’=’|’)
TBLPROPERTIES (‘serialization.null.format’=’’)

1.3 创建压缩表

drop table if exists LTE_MRE;
CREATE TABLE LTE_MRE
(
province_name STRING ,
vendor STRING ,
fileFormatVersion STRING ,
reportTime TIMESTAMP ,
startTime TIMESTAMP ,
endTime TIMESTAMP ,
enb_id BIGINT ,
userLabel STRING ,
eventType STRING ,
object_mmeCode STRING ,
object_mmeGroupId STRING ,
object_mmeUeS1apId STRING ,
object_timeStamp TIMESTAMP ,
object_id STRING ,
MR_LteScRSRP BIGINT ,
MR_LteNcRSRP BIGINT ,
MR_LteScRSRQ BIGINT ,
MR_LteNcRSRQ BIGINT ,
MR_LteScTadv BIGINT ,
MR_LteScPHR BIGINT ,
MR_LteScRIP BIGINT ,
MR_LteScAOA BIGINT ,
MR_LteScPlrULQci1 BIGINT ,
MR_LteScPlrULQci2 BIGINT ,
MR_LteScPlrULQci3 BIGINT ,
MR_LteScPlrULQci4 BIGINT ,
MR_LteScPlrULQci5 BIGINT ,
MR_LteScPlrULQci6 BIGINT ,
MR_LteScPlrULQci7 BIGINT ,
MR_LteScPlrULQci8 BIGINT ,
MR_LteScPlrULQci9 BIGINT ,
MR_LteScPlrDLQci1 BIGINT ,
MR_LteScPlrDLQci2 BIGINT ,
MR_LteScPlrDLQci3 BIGINT ,
MR_LteScPlrDLQci4 BIGINT ,
MR_LteScPlrDLQci5 BIGINT ,
MR_LteScPlrDLQci6 BIGINT ,
MR_LteScPlrDLQci7 BIGINT ,
MR_LteScPlrDLQci8 BIGINT ,
MR_LteScPlrDLQci9 BIGINT ,
MR_LteScSinrUL BIGINT ,
MR_LteScRI1 BIGINT ,
MR_LteScRI2 BIGINT ,
MR_LteScRI4 BIGINT ,
MR_LteScRI8 BIGINT ,
MR_LteScPUSCHPRBNum BIGINT ,
MR_LteScPDSCHPRBNum BIGINT ,
MR_LteScBSR BIGINT ,
MR_LteSceNBRxTxTimeDiff BIGINT ,
MR_LteScEarfcn BIGINT ,
MR_LteScPci BIGINT ,
MR_LteNcEarfcn BIGINT ,
MR_LteNcPci BIGINT ,
MR_GsmNcellBcch BIGINT ,
MR_GsmNcellCarrierRSSI BIGINT ,
MR_GsmNcellNcc BIGINT ,
MR_GsmNcellBcc BIGINT ,
MR_TdsPccpchRSCP BIGINT ,
MR_TdsNcellUarfcn BIGINT ,
MR_TdsCellParameterId BIGINT
)
partitioned by (province STRING,partitiondate STRING,partitionvendor STRING)
ROW FORMAT SERDE
‘org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe’
WITH SERDEPROPERTIES (
‘field.delim’=’,’,
‘line.delim’=’\n’,
‘serialization.format’=’,’)
STORED AS INPUTFORMAT
‘org.apache.hadoop.mapred.TextInputFormat’
OUTPUTFORMAT
‘org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat’;
注意：
1、创建压缩表时需用`（也就是数字1左边的键）。
2、创建压缩表时登录hive，其他表hive和impala均可。
3、hive上运行命令之后最好用impala刷新库
语句：invalidate metadata;

二、hadoop 新增字段，并指定位置
hadoop 新增字段：
alter table nr_mro_txt add columns (haoa INT COMMENT ‘gNB天线水平到达角’);
其中nr_mro_txt 是表名，haoa 是字段，INT 是字段类型。

指定字段位置
首先新增字段，此时该字段为最后一列。
alter table nr_mro_hour add columns (rsrp3 double);
移动该字段到rsrp2之后，rsrp4 之前。
语句：
alter table nr_mro_hour change rsrp3 rsrp3 double after rsrp2;

（实践经验：用impala移动字段位置时运行失败，但用hive可以）

Hadoop 表和字段相关推荐

postgres 把一个表的值转成另一个表的字段名_Phoenix系列创建Phoenix映射表
目前,在公司小部分的业务场景中有用到 Phoenix,但也仅限基于 Phoenix 的二级索引机制来进行查询上的优化.虽然使用的频次不大,但偶尔用到时,有些语句的使用方式和注意事项总记不太熟,每次都需 ...
利用hive源码解析sql查了哪些表哪些字段
在hiveserver2中使用了org.apache.hadoop.hive.ql.parse.BaseSemanticAnalyzer对抽象语法树(AST)进行语义分析,分析的过程可以得出hive查 ...
【hive-3.1.3】ORC 格式的表和 text 格式的表，当分区的字段数量和表的字段数量不一致，检索结果不相同
ORC 格式的表,和 text 格式的表,如果分区的字段数量和表的字段数量不一致,则 select 的结果不一致. 1. 测试内容 1.1 ORC 格式的表 CREATE EXTERNAL TABLE ...
客快物流大数据项目(五十二)：根据数据库表及字段创建公共模块
根据数据库表及字段创建公共模块根据数据库的表及表结构创建Bean对象一.在公共模块创建包结构在公共模块的java目录下,创建如下程序包:
java 对比两个表的字段的差异_Joolun小程序商城 2.2.2版本上线了——Java微信快速开发平台...
Joolun是一款基于spring-boot的微信快速开发平台,目前拥有公众号基础版和小程序商城版两个版本.Joolun采用目前流行的前后端分离技术所写,是一款高效.易用的java微信开发框架平台,二 ...
mysql 所有表的字段信息_mysql如何查询所有表和字段信息
mysql查询所有表和字段信息的方法: 1.根据库名获取所有表的信息 SELECT * FROM information_schema.`TABLES` WHERE TABLE_SCHEMA = 'e ...
mysql查询动态表名的数据类型_Mysql中查询某个数据库中所有表的字段信息
前言有时候,需要在数据库中查询一些字段的具体信息,而这些字段又存在于不同的表中,那么我们如何来查询呢? 在每一个数据库链接的information_schema数据库中,存在这样一张表--COLUM ...
php生成表格和读取,phpexcelreader读取excel自动生成表跟字段
phpexcelreader读取excel自动生成表和字段这个主要是采用phpexcelreader的功能实现,根据excel的文件名和excel第一行生成表名及字段,数据从第二行开始依次导入. p ...
php 修改数据库表的字段的值
微信小程序开发交流qq群 173683895 承接微信小程序开发.扫码加微信. php 前端传递参数,遍历数据库表的字段后根据条件进行修改. <?phpheader("Con ...

Hadoop 表和字段

Hadoop 表和字段相关推荐

最新文章

热门文章