使用欧元符号€作为hive表的分割符

现有一份数据，是使用欧元符€作为分隔符，现在想要将数据加载到hive中。

普通的 row format delimited FIELDS TERMINATED BY '€' 并不行，百度找到一篇博客，说使用 -128作为分隔符，也不行。

解决这个问题，需要使用到org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe这个类。这个类常用于多字符分割问题，例如分隔符是这样：<|>。不过现在也能用于解决€分割符问题。

下面给一个示例：

create external table test(
id string,
name string,
status int
)
partitioned by (dt string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe'
WITH SERDEPROPERTIES ("field.delim"="€")
STORED AS TEXTFILE;
ALTER TABLE test ADD PARTITION(dt='20190403') LOCATION '/user/root/extractdata/test';

查询结果：

使用欧元符号€作为hive表的分割符相关推荐

Hive - 警惕默认分割符号:^A
一.引言 hive 执行如下 insert 插入语句后将数据从 RCFile 格式转换为 Text 并导入 Hdfs: function insertData() { hive -e " i ...
hive表加载csv格式数据或者json格式数据
先说简单的使用 CREATE TABLE `cc_test_serde`( `id` string COMMENT 'from deserializer', `name` string COMMENT ...
Hive Sql 大全(hive函数，hive表)
Hive Sql 大全本节基本涵盖了Hive日常使用的所有SQL,因为SQL太多,所以将SQL进行了如下分类: 一.DDL语句(数据定义语句): 对数据库的操作:包含创建.修改数据库对数据表的操作 ...
Hive表操作及管理
转载请注明出处:http://blog.csdn.net/u012842205/article/details/72765667 Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映 ...
MapReduce基础开发之三字段处理并输出Hive表
1.MR设计和开发 1)设计: 输入:用户名 | 数字ip | 时间戳 | url MR处理:正则表达式匹配url,满足则解析url并转换ip和时间戳, 输出:用 ...
hive 如何将数组转成字符串_hive 将hive表数据查询出来转为json对象和json数组输出...
1.将hive表数据查询出来转为json对象输出apache 一.将查询出来的数据转为一行一行,并指定分割符的数据json 二.使用UDF函数,将每一行数据做为string传入UDF函数中转换为jso ...
hive实战读书笔记(第4章)hive表DDL
schema-on-read hadoop提供了存储和处理任何结构化,半结构化,非结构化数据的能力,hive允许用户在这些数据上创建一个元数据层,并使用sql接口来访问该层. hive并不是一个数据库 ...
hive表中的数据导出
将hive表中的数据导出到其他任意目录,例如linux本地磁盘,例如hdfs,例如mysql等等一.insert导出将查询的结果导出到本地 insert overwrite local direc ...
数据治理 - TextFile格式Hive表压缩优化实践
背景由于缺少统一的规范落地和平台工具支持,大部分的业务人员.技术人员在建表时并没有考虑到 Hive表格式的重要性.随着数据量的上升,TextFile格式的存储浪费情况越来越严重在数仓建设中,除了 ...
92课程作业，hive自定义IMFRecordReader，切分^^尖尖头及| 分割符
92课程作业,hive自定义IMFRecordReader,切分^^尖尖头及| 分割符代码写好了,还没有运行, 到时候在hive中测试一把 IMFInputFormat package com.dt ...

使用欧元符号€作为hive表的分割符

使用欧元符号€作为hive表的分割符相关推荐

最新文章

热门文章