hive 导出json格式 文件_hive存储json格式文件
hive从0.12版本以后就开始自身支持json文件的格式了
1.文件格式
下面是测试用的文件预览格式,我将其存储为jsonTest.json文件,放在了/root目录下
{"_location":"(32.121, 45.262)","_ip":"2.12.1.211","_action":"click button","_uid":"694666ee-8918-48f8-bb92-0a756a3f1f31","_timestamp":"1496999163163"}
{"_location":"(32.121, 45.262)","_ip":"7.12.1.211","_action":"click button","_uid":"868be529-f59e-4f16-8ea5-08c4612ede9a","_timestamp":"1496999164165"}
{"_location":"(32.121, 45.262)","_ip":"2.12.1.211","_action":"click button","_uid":"49b63380-2a5a-453d-aa5b-57e74cd1a8d7","_timestamp":"1496999165170"}
{"_location":"(32.121, 45.262)","_ip":"3.12.1.211","_action":"click button","_uid":"60fd093a-9f6a-4716-81c6-72a5f07d3b4f","_timestamp":"1496999166171"}
{"_location":"(32.121, 45.262)","_ip":"3.12.1.211","_action":"click button","_uid":"056cf558-56b1-4312-aba1-0b0eb71ba78e","_timestamp":"1496999167172"}
{"_location":"(32.121, 45.262)","_ip":"8.12.1.211","_action":"click button","_uid":"a2ecd34c-5458-43a2-b851-89eb6b3985ae","_timestamp":"1496999168174"}
注意: 一行之内必须是完整的一条json文件,否则会解析出错误
2.创建hive表
CREATE TABLE IF NOT EXISTS jsonTest
(
`_location` STRING,
`_ip` STRING,
`_action` STRING,
`_uid` STRING,
`_timestamp` STRING)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
STORED AS TEXTFILE;
注意: “符号是因为列明里面是下划线开头;并且列明需要与json文件中的key对应,否则也会解析不到数据.
3.加载数据
LOAD DATA LOCAL INPATH "/root/jsonTest.json" OVERWRITE INTO TABLE jsonTest;
4.查询数据进行校验
hive> select * from jsonTest_test;
OK
(32.121, 45.262) 2.12.1.211 click button 54490a2f-376a-43e3-9658-e9a3d6583ffd 1496999162153
(32.121, 45.262) 2.12.1.211 click button 694666ee-8918-48f8-bb92-0a756a3f1f31 1496999163163
(32.121, 45.262) 7.12.1.211 click button 868be529-f59e-4f16-8ea5-08c4612ede9a 1496999164165
(32.121, 45.262) 2.12.1.211 click button 49b63380-2a5a-453d-aa5b-57e74cd1a8d7 1496999165170
(32.121, 45.262) 3.12.1.211 click button 60fd093a-9f6a-4716-81c6-72a5f07d3b4f 1496999166171
(32.121, 45.262) 3.12.1.211 click button 056cf558-56b1-4312-aba1-0b0eb71ba78e 1496999167172
(32.121, 45.262) 8.12.1.211 click button a2ecd34c-5458-43a2-b851-89eb6b3985ae 1496999168174
Time taken: 0.439 seconds, Fetched: 7 row(s)
可以看到数据已经成功解析出来
问题
1.出现下面错误
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: org.apache.hive.hcatalog.data.JsonSerDe
需要将支持序列化的hive-hcatalog-core.jar添加进来,执行如下命令即可解决该问题.(找到自己安装的目录即可,我的是在这个目录里)
hive> add jar /opt/cloudera/parcels/CDH-5.11.0-1.cdh5.11.0.p0.34/lib/hive-hcatalog/share/hcatalog/hive-hcatalog-core.jar;
hive 导出json格式 文件_hive存储json格式文件相关推荐
- Python将numpy(.npy文件)存储为.ply文件
Python将numpy(.npy文件)存储为.ply文件 安装Open3D From NumPy to Ply Open3D文档 安装Open3D pip install open3d From N ...
- hive 导出json格式 文件_hive支持json格式的数据
Hive 支持完全 json 格式的数据 现有 json 格式的数据 test.txt ,如下 {"name":"zhang","age" ...
- hive中如何读取数组_hive解析json嵌套数组
hive怎么统计json中某一项的内容 Hive提供json抽取函数get_json_object,根据json_path来获取你所抽取的项 get_json_object函数第一个参数填写json对 ...
- android 文件公有存储,如何将文件写入Android中的外部公共存储,以便从Windows中看到它们?...
如何将文件写入Android中的外部公共存储,以便从Windows中看到它们? 我的应用程序应该将文件保存到一个地方,当您将手机/平板电脑连接到计算机时,您可以通过系统文件资源管理器看到它们. 这就是 ...
- python保存类对象到文件_python存储对象到文件
1.pickle包 (1).将内存中的对象转换成为文本流: import pickle # define class class Bird(object): have_feather = True w ...
- json数据和本地存储
json数据和本地存储 文章目录 json数据和本地存储 json数据 什么是JSON 为什么使用JSON 语法规则 转换 深拷贝 本地存储 特性 window.sessionStorage wind ...
- 【Android 文件管理】分区存储 ( 分区存储机制 和 文件索引数据 )
文章目录 一.Android 10 以前的存储机制 二.Android 10 及以后的分区存储机制 三.Android 10 中的存储过渡方案 四.文件索引数据库 五.相关文档资料 一.Android ...
- 批量提取文件夹下同类型文件/批量提取文件夹下不同名称文件夹的同类型文件
一.背景 公司服务器有点卡,持续集成分了很多批,有很多文件夹里的html报告需要查看,一个一个点开文件夹比较影响速度 二.需求 批量提取文件夹下不同文件夹里html文件,并挪到一个新文件夹存储 三.优 ...
- hive 导出json格式 文件_Hive 系列 之 基本操作合集
下面是本课程概览: (1)hive系列之简介,安装,beeline和hiveserver2 (2)hive系列之基本操作 (3)hive系列之udf (4)hive系列之二级分区和动态分区 (5)hi ...
最新文章
- 独家 | 手把手教你用Python创建简单的神经网络(附代码)
- 我用 PyTorch 复现了 LeNet-5 神经网络(自定义数据集篇)!
- Pandas库(3):DataFrame的条件过滤用法
- linux未被识别crond服务,linux 定时任务 crond 服务介绍
- 2021Java面试题汇总,最常见的面试题都在这里
- matlab基于模型的测试与验证,基于模型的测试和验证工具——Reactis
- batch script learn
- 《Python和Pygame游戏开发指南》——导读
- linux 开启ssdp服务,无法网络发现,Windows Server 2012如何启用SSDP Discovery服务
- Matplotlib风格与样式
- 网上书城(搜索页,购物车)
- 遍历指定文件夹下的所有文件名
- Discuz! X搬家说明
- Python基础知识详解 从入门到精通(八)魔法方法
- 四川省国家级自然保护区功能区划
- 大sd卡 裂开了,写保护掉了。重新装好后,被写保护的解决办:
- 走入SVG-姜威-专题视频课程
- 一个毕业6年的程序员工作经历和成长感悟(上)
- php读取蓝牙电子秤,使用ionic/cordova读取小米蓝牙体重秤数据
- MS SQL 分类汇总参数 grouping(**)=1 rollup cubt
热门文章
- 判断是否存在此对象_JVM的垃圾回收机制,判断对象是否死亡
- Linux 字符设备驱动开发基础(三)—— read()、write() 相关函数解析
- Ansi、Unicode、UTF8字符串之间的转换和写入文本文件
- 按ESC关闭当前窗口
- 前端学习(2964):路由的实现
- [html] 怎样避免让用户看到长时间的白屏?
- [css] 元素竖向的百分比设置是相对容器的高度吗?
- [css] z-index有时不起作用的原因是什么?怎么解决?
- “约见”面试官系列之常见面试题之第七十二篇之arrayList(建议收藏)
- 前端学习(1966)vue之电商管理系统电商系统之获取参数列表