hive - 解析 json

内置函数：get_json_object(json串,解析路径)

解析路径说明：

$ :跟对象

. :子对象

[] :数组下标

* :所有

举例：

数据样例：

{"movie":"1190","rate":"4.8","timestamp":"978300760","uid":"145325"}

{"movie":"1191","rate":"3.7","timestamp":"978200613","uid":"234566"}

{"movie":"1190","rate":"4.5","timestamp":"977500902","uid":"474532"}

...

将数据导入hive：

create table rating(line string);#建表，只有一列数据 load data local inpath '/user/rating.json' into table rating;#从本地导数据

1)求评分次数排名前3的电影

SELECT get_json_object(t.line, '$.movie') as movieid, count(*) as tatol FROM rating t GROUP BY 1 ORDER BY 2 LIMIT 3;

t.line是要解析的json串，
$定位到第一级目录{
.定位到第二级目录"movie":"1190","rate":"4.8","timestamp":"978300760","uid":"145325"
movie：通过key定位到value值1190

2)将整个json文件解析成一张表

1)建一个用于存放数据的表

create table rate(movie int,rate float,time bigint,uid bigint);

2)解析并加载数据

insert into table rate select get_json_object(t.line, '$.movie') as movie, get_json_object(t.line, '$.rate') as rate, get_json_object(t.line, '$.timestamp') as time, get_json_object(t.line, '$.uid') as uid FROM rating t;

3)解析较复杂json

{

"status": 0,

"data": {"search_data":[{

"name": "奈良市",

"location": {

"lat": 34.685087

}]

}

1-解析status

get_json_object(t.line, '$.status');

2-解析name

get_json_object(t.line, '$.data.search_data.[0].name');

3-解析lat

get_json_object(t.line, '$.data.search_data.[0].location.lat');

hive - 解析 json相关推荐

学会Hive解析Json数组
在Hive中会有很多数据是用Json格式来存储的,如开发人员对APP上的页面进行埋点时,会将多个字段存放在一个json数组中,因此数据平台调用数据时,要对埋点数据进行解析.接下来就聊聊Hive中是如何 ...
Hive解析Json数组超全讲解
在Hive中会有很多数据是用Json格式来存储的,如开发人员对APP上的页面进行埋点时,会将多个字段存放在一个json数组中,因此数据平台调用数据时,要对埋点数据进行解析.接下来就聊聊Hive中是如何 ...
hive解析json
-- json数据 {"OTHER_INFO":{"MOBILE_ADDR":"四川省内江市潘咱陛路1233号闷羞小区19单元484室",& ...
Hive解析json字段，虽然json_tuple写法很优雅，但是效率并不一定高哦
在写Hive SQL时,需要从一个json列中解析出多个key的信息,查阅资料发现到有两种写法,一种是get_json_object,另外一种是json_tuple.两种用法的示例如下所示 get_j ...
Hive解析Json格式用户日志
解析json格式数据 Json数据 HIVE SQL解析第一种方式第二种方式第三种方式 string类型的数组形式的行转列拆分 Json数据第一次写博客,mark一下 --20191025 下 ...
hive解析json数组
前言解析如下数组获取app_name和 app_type 字段 [{"app_name":"Kloningponsel","app_type&qu ...
hive 解析json字符串
例如字段 str_a {'SID':'JDC-XSZ-HHS001','SFZH':'914102257258165412'} 这种是标准的一个json. select get_json_object ...
Hive之解析Json数组
目录 Hive自带的json解析函数 1.get_json_object函数 2.json_tuple函数 Hive解析json数组一.嵌套子查询解析json数组二.使用 lateral view ...
hive处理json数据_(转)hive中解析json数组
hive中解析一般的json是很容易的,get_json_object就可以了. 但如果字段是json数组,比如 [{"bssid":"6C:59:40:21:05:C4 ...

hive - 解析 json

hive - 解析 json相关推荐

最新文章

热门文章