get_json_object与json_tuple 的解析

2024-05-06 02:07:13

get_json_object与json_tuple 的解析

在技术对app进行埋点时，会讲多个字段存放在一个数组中，因此模型调用数据时，要对埋点数据进行解析，以作进一步的清洗。本文将介绍解析json字符串的两个函数：get_json_object和json_tuple。

get_json_object

官网：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-get_json_object

他会有一些注意：

json_tuple

官网：https://cwiki.apache.org/confluence/pages/viewpage.action?pageId=69408918#Home(Copy)-json_tuple

举例实现以下：

其中meta 字段数据，数据表是 test_table

{{"a":1,"b":2},{"a":3,"b":4},{"a":5,"b":6},{"a":7,"b":8}}

get_json_object

函数的作用：用来解析json字符串的一个字段：

select get_json_object(meta,’.a′)asfiltertype,getjsonobject(meta,′.a') as filtertype ,get_json_object(meta,'.a′)asfiltertype,getjsonobject(meta,′.b’)as filtersubtype
from test_table

运行结果仅有一条数据，其实应该是4条：

filtertype  filtersubtype
1                   2

json_tuple
函数的作用：用来解析json字符串中的多个字段

select b.a
,b.b
from test_table a
lateral view json_tuple(meta,'a', 'b', ) b as
a, b;

运行结果：

filtertype  filtersubtype
1                   2
3                   4
5                   6
7                   8

最后：

这里都可以根据自行的需要做自定义函数
更为方便和简单在处理数据方面

get_json_object与json_tuple 的解析相关推荐

hive中json字符串(get_json_object与json_tuple)及url解析（parse_url）
json字符串数据: select xjson from ods.ods_visit_new a1 where dt='2019-10-26' limit 3; OK {"type" ...
HIVE高级函数--get_json_object()和json_tuple()
将每一行数据存储为string,属性名line get_json_object() select get_json_object(line,'$.movie') as movie,get_json_o ...
hive之Json解析(普通Json和Json数组)
一.数据准备现准备原始json数据(test.json)如下: {"movie":"1193","rate":"5", ...
hive 导出json格式文件_hive中创建hive-json格式的表及查询
在hive中对于json的数据格式,可以使用get_json_object或json_tuple先解析然后查询. 也可以直接在hive中创建json格式的表结构,这样就可以直接查询,实战如下(hive ...
Hive---关于Json格式的处理方法
hive中创建hive-json格式的表及查询在hive中对于json的数据格式,可以使用get_json_object或json_tuple先解析然后查询. 也可以直接在hive中创建json格式 ...
hive处理json数据_(转)hive中解析json数组
hive中解析一般的json是很容易的,get_json_object就可以了. 但如果字段是json数组,比如 [{"bssid":"6C:59:40:21:05:C4 ...
Hive JSON数据处理：get_json_objec、json_tuple、用JSON Serde加载数据
Hive JSON数据处理文章目录 Hive JSON数据处理将JSON保存为字符串,用JSON函数处理 get_json_object json_tuple 用JSON Serde加载数据将J ...
Hive 超赞的解析 Json 数组的函数
背景大数据的 ETL(Extract-Transfer-Load) 过程的 Transfer 阶段,需要对 json 串数据进行转换"拍平"处理. 亲测!超好用 Hive 内置的 ...
hive源码之get_json_object
目录一.get_json_object 使用二.使用案例三.源码分析四.总结大家好,我是老六. 在数据开发中,我们有大量解析json串的需求,我们选用的UDF函数无非就是:get_json_ ...

最新文章

热门文章