hive （2.01）读取 json 格式的处理方式 2018-4-24

测试json 数据格式样例：

{"data":{"dt":"2018-12-13","hu":"17:17:17"},"web":{"web":"maitianzaixian.com.cn","whichfor":"computer"},"house":{"home":"yuanyangguoji","areo":400,"price":3400,"num":"10#102"}}

前期的准备工作：

需要根据hive的版本去下载相关包：（放在 lib中）

json-serde-1.3.8-jar-with-dependencies.jar

有的版本还需要 hive-hcatalog-core-2.0.1.jar （一般hive自带）

然后启动hive：

《第一种方式》：直接当成一个字段去处理：（这种方式不行的）

执行样例：

create external table if not exists json_01(
json string
)
row format delimited
lines terminated by '\n'
stored as textfile

结果：虽然可以select * from json_01 但是内部的第二层结构就无法查看了此方法不行

《第二种方式》：还是当成一个字段只不过我需要用json 格式去解析：（一般较常用的方法）

create external table if not exists json_old(
json string
)
row format serde 'org.apache.hadoop.hive.contrib.serde2.JsonSerde'
stored as textfile

有可能上面的引用包不对，hive的版本过低缘故那就换成 ‘org.openx.data.jsonserde.JsonSerDe’

查看方式也有两种：get_json_object 和 json_tuple

<get_json_object>方式：

select * from json_01 -----------------------整个json

select get_json_object(js.json,'$.data'),get_json_object(js.json,'$.web') from json_01 js;

select get_json_object(js.json,'$.data.dt'),get_json_object(js.json,'$.web.web') from json_01 js; ----------嵌套

select get_json_object(data.dl,'$.dt') from (select get_json_object(js.json,'$.data') as dl from json_01 js) data;

<json_tuple>方式

select json_tuple(json,"data") from json_01; --------------MR

select json_tuple(get_json_object(json,'$.data'),"dt","hu") from json_01

select js2.js2_data_dt,js3.js3_web_web,js4.js4_home from json_01 js lateral view json_tuple(js.json,'data','web','house')js1 as js1_data,js1_web,js1_house
lateral view json_tuple(js1.js1_data,'dt','hu')js2 as js2_data_dt,js2_data_hu
lateral view json_tuple(js1.js1_web,'web','whichfor')js3 as js3_web_web,js3_web_whichfor
lateral view json_tuple(js1.js1_house,'home','areo','price','num')js4 as js4_home,js4_areo,js4_price,js4_num

《带有其他结构的 json格式》：

数据变种：

{"data":{"dt":"2018-12-13","hu":"17:17:17"},"web":{"web":"maitianzaixian.com.cn","whichfor":"computer"},"house":[{"home":"yuanyangguoji","areo":400,"price":3400,"num":"10#102"},{...........}]}

--------------------------------数据挖掘插件中一些配置项会带有 []

去掉中括号：

lateral view posexplode(split(regexp_replace(regexp_replace(js1.js1_house,'\\}\\,\\{','\\}\\|\\|\\{'),'\\[|\\]',''), '\\|\\|')) js11

regexp_replace(js1.js1_house,'\\}\\,\\{','\\}\\|\\|\\{') ===> (将 data 中的 “ },{”转成了 “}||{” )
regexp_replace(regexp_replace(js1.js1_house,'\\}\\,\\{','\\}\\|\\|\\{'),'\\[|\\]','') ===> 将 “[]” 变成 “” 空值
split(regexp_replace(regexp_replace(js1.js1_house,'\\}\\,\\{','\\}\\|\\|\\{'),'\\[|\\]',''), '\\|\\|') 将 data 按 “||”切分

json array 格式转成了一个数组再有posexplode 变成（p,json）键值对

《第三种方式》：转换成map 结构可以用到两种解析包：

create external table if not exists json(
data map<string,string>,
web map<string,string>,
house map<string,string>
)
row format serde 'org.openx.data.jsonserde.JsonSerDe'
stored as textfile

create external table if not exists json(
data map<string,string>,
web map<string,string>,
house map<string,string>
)
row format serde 'org.apache.hive.hcatalog.data.JsonSerDe'
stored as textfile

select data['dt'] from json

hive （2.01）读取 json 格式的处理方式 2018-4-24相关推荐

python读取json格式的超参数
python读取json格式的超参数 json文件: {"full_finetuning": true,"max_len": 180,"learnin ...
读取json格式的图片、文字并保存成图片
读取json格式的图片.文字并保存成图片说明从数据库中获取到图片.中文.英文信息后,将其合成json文件,图片格式为base64格式,需要将其转成二进制形式,然后将其保存成图片,将中文.英文信息保 ...
HTML页面之间传递Json格式数组的方式
HTML页面之间传递Json格式数组的方式如下: a.html localStorage.setItem("userinfoList", JSON.stringify(list) ...
使用 Python 读取 json 格式文件并查重
场景如下: 格式为 json 的文件中存在多行测试数据,需要判断文件中 "esbsn" 字段的值是否存在重复数据 {"time":"2022-08-0 ...
netcore读取json文件_.net core读取json格式的配置文件
在.Net Framework中,配置文件一般采用的是XML格式的,.NET Framework提供了专门的ConfigurationManager来读取配置文件的内容,.net core中推荐使用j ...
pyhton读取json格式的气象数据
原文关于读取pm25.in气象数据的pyhton方法,以及浅析python json的应用以pm25.in网站数据为例. 1.方法介绍首先感谢pm25.in提供了优质的空气污染数据,为他们的辛勤劳 ...
python读取json格式文件大量数据，以及python字典和列表嵌套用法详解
1.Python读取JSON报错:JSONDecodeError:Extra data:line 2 column 1 错误原因: JSON数据中数据存在多行,在读取数据时,不能够单单用open(), ...
python的json格式_python读取json格式
对于处理json格式,如果是要把python数据格式转换成json,使用json.dumps(),如: data = { 'name' : 'ACME', 'shares' : 100, 'price ...
web 后台返回json格式数据的方式（status 406）
1.在类上使用注解 @RestController public class HttpComentInterface {} 2.在方法是使用注解 @ResponseBody @RequestMapp ...

hive （2.01）读取 json 格式的处理方式 2018-4-24

hive （2.01）读取 json 格式的处理方式 2018-4-24相关推荐

最新文章

热门文章

hive （2.01）读取 json 格式 的处理方式 2018-4-24

hive （2.01）读取 json 格式 的处理方式 2018-4-24相关推荐

最新文章

热门文章

hive （2.01）读取 json 格式的处理方式 2018-4-24

hive （2.01）读取 json 格式的处理方式 2018-4-24相关推荐