Hive利用正则Serde导入文件

比如,有如下格式文件

01||zhangsan||23
02||lisi||24

hive默认情况下只支持单字节分隔符，如果数据中的分隔符是多字节的，则hive默认是处理不了的。需要使用正则Serde

create table if not exists t_regex(
id string,
uname string,
age int
)
row format serde 'org.apache.hadoop.hive.serde2.RegexSerDe'
with serdeproperties(
'input.regex'='(.*)\\|\\|(.*)\\|\\|(.*)',
'output.format.string'='%1$s %2$s %3$s'
)
stored as textfile

;
导入以及查看数据

load data local  inpath '/data/regex.txt' into table t_regex;
select *  from t_regex;

结果如下

id	uname	age
01	zhangsan	23
02	lisi	24

总结

只要内容有规律,就可以想办法导入hive

Hive利用正则Serde导入文件相关推荐

在python中使用最小二乘法画出拟合曲线_基于jupyter notebook的python编程-----运用最小二乘法，导入文件数据模拟一元线性回归分析...
基于jupyter notebook的python编程-----运用最小二乘法,导入文件数据模拟一元线性回归分析用最小二乘法模拟一元线性回去曲线的目录一.运行jupyter notebook,搭建 ...
iOS开发- 文件共享(利用iTunes导入文件, 并且显示已有文件)
layout: post #iOS开发- 文件共享(利用iTunes导入文件, 并且显示已有文件) title: iOS开发- 文件共享(利用iTunes导入文件, 并且显示已有文件) #时间配置 d ...
iOS开发- 文件共享利用iTunes导入文件并且显示已有文件
今天要实现一个功能, 通过iTunes导入文件到应用中, 并且在应用中对这个文件进行编辑. 类似我们平时经常使用的 PDF阅读器那样的东西, 我们可以自己导入我们的电子书. 源码下载:https:// ...
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站:https://www.captainai.net/dongkelun 前言在最开始学习Hudi源码 ...
利用IDEA工具导入csv表格文件到数据库
利用IDEA工具导入表格文件到数据库 1.ideal连接好数据库源,打开数据库表 2.根据图示选择导入文件(文件类型为csv) 其他类型文件未测试,可能出现乱码 3.对应数据库表创建数据 4.导入数据 ...
简析将shp导入Oracle并利用geoserver将导入的数据发布
文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/. 1.环境准备 1.1 软件准备首先要安装有支持空间数据的Oracle ...
Hive几种数据导入方式
2019独角兽企业重金招聘Python工程师标准>>> 1.从本地文件系统中导入数据到hive表 (1)数据准备(/home/sopdm/test.dat): 1,wyp,25,13 ...
iOS发展- 文件共享(使用iTunes导入文件, 并显示现有文件)
到今天实现功能, 由iTunes导入文件的应用程序, 并在此文档进行编辑的应用. 就像我们平时经常使用 PDF阅读这样的事情, 们能够自己导入我们的电子书. 源代码下载:https://github. ...
sqoop动态分区导入mysql,使用sqoop import从mysql往hive含分区表中导入数据的一些注意事项...
先看下面这条语句,它实现的功能是将特定日期的数据从mysql表中直接导入hive $ sqoop import \ --connect jdbc:mysql://192.168.xx.xx:3306/ ...

Hive利用正则Serde导入文件

总结

Hive利用正则Serde导入文件相关推荐

最新文章

热门文章