查询数据:
use ods;set /user.password=ODS-SH;select * from base_cdma_all limit 10;
use tag_bonc;select * from dpi_http_userapp_statistics limit 100000;

#设置显示当前使用的数据库
set hive.cli.print.current.db=true;

#设置不优先使用MapReduce
set hive.exec.mode.local.auto=true;
======================导出数据=============================
#导出hive数据到本地(事先要建好文件夹)
use myexec;
insert overwrite local directory '/home/hadoop/res'
row format delimited
fields terminated by '\t'
select column1,column2 from table1;

#不显式指定分隔符将会以默认的分隔符来切割列
use myexec;
insert overwrite local directory '/home/hadoop/res'
select * from table1;

#导出hive数据到HDFS(不要事先建好文件夹)
use myexec;
insert overwrite directory '/hive_data_to_hdfs'
select * from table1;

#导出到Hive的还有一个表中
use myexec;
insert into table2
row format delimited
fields terminated by '\t'
select * from table1;

#用hive的-e和-f參数来导出数据。当中-e 表示后面直接接带双引號的sql语句;而-f是接一个文件(文件的内容为一个sql语句)
hive -e "use myexec;select * from table1" >> /home/hadoop/res/data1.txt

#这样的方式不会启用MapReduce
hive -f mytest.hql >> /home/hadoop/res.txt
当中mytest.hql内容为:
use myexec;
select * from table1;

=====================导入数据==========================
外部表、内部表都能够分别载入本地和HDFS上的数据,创建表时最好指定列分隔符
内部表假设使用load data命令,都是把hdfs上的数据(假设是本地数据则先上传到HDFS)移动(剪切)到数据仓库所在文件夹
外部表假设在创建时指定了存放数据的路径,则在load data时数据是被移动到创建表时指定的文件夹,否则同上
两者的主要差别是:
外部表建表的同一时候指定hdfs路径。在数据复制到指定hdfs路径的同一时候。也同一时候完毕数据插入external表(仅仅是保持映射关系),此时数据没有被移动(数据仓库里没有显式存放该数据)
删除内部表会把数据一起删除,而删除外部表则仅仅是使得在hive下查询不到此表(元数据被删了),数据本身没有被删除,依旧存在对应的数据仓库文件夹下

#改动存储路径
alter table table1
set location 'hdfs://172.16.122.200:8020/data/datatest.txt';

#创建外部表时指定位置(在数据复制到指定hdfs路径的同一时候,数据插入该external表)
#这样的方式经常常使用于当hdfs上有一些历史数据,而我们须要在这些数据上做一些hive的操作时使用,这样的方式避免了数据拷贝开销
CREATE EXTERNAL TABLE MYTEST(num INT, name STRING)
COMMENT 'this is a test'
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE
LOCATION '/data/test';

#创建一个測试用表(内部表)
CREATE TABLE MYTEST2(num INT, name STRING)
COMMENT 'this is a test2'                          
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'     
STORED AS TEXTFILE;

1)数据不在hdfs上,直接从本地(local)导入hive表
这样的方式导入的本地数据能够是一个文件,一个目录或者通配符,须要注意的是,假设是目录,目录内不能包括子目录,相同,通配符仅仅能通配文件
LOAD DATA LOCAL INPATH '/home/work/test.txt' [OVERWRITE] INTO TABLE MYTEST2;
2)从hdfs导入数据
LOAD DATA INPATH '/data/test/test.txt' [OVERWRITE] INTO TABLE MYTEST2 [PARTITION (ds='2008-08-15')];
3)从其他表导入数据
FROM MYTEST3 test3
INSERT OVERWRITE TABLE MYTEST2
select test3.num where name='world';
4)在创建表的时候通过从别的表中查询出对应的记录并插入到所创建的表中
create table test4
as

select id, name, tel

from wyp;

hive导入导出数据案例相关推荐

  1. hive向mysql导数据_Mysql Hive 导入导出数据

    ---王燕行转列sql select split(concat_ws(',',collect_set(cast(smzq as string))),',')[1] ,split(concat_ws(' ...

  2. 如何在 MySQL / MariaDB 中导入导出数据,导入导出数据库文件、Excel、CSV

    文章目录 本教程将详细讲解 1. MySQL / MariaDB 数据库数据「导出」 2. MySQL / MariaDB 数据库数据「导入」 3. 使用「卡拉云」一键导入导出 MySQL / Mar ...

  3. 【转】Hive导入10G数据的测试

    Hive导入10G数据的测试 让Hadoop跑在云端系列文章,介绍了如何整合虚拟化和Hadoop,让Hadoop集群跑在VPS虚拟主机上,通过云向用户提供存储和计算的服务. 现在硬件越来越便宜,一台非 ...

  4. 转载-SQL Server各种导入导出数据方式的比较

    注:本文转载自 http://blog.csdn.net/nokiaguy/article/details/4684822 当我们建立一个数据库时,并且想将分散在各处的不同类型的数据库分类汇总在这个新 ...

  5. SqlServer的SSIS导入导出数据时找不到连接错误处理

    SqlServer的SSIS导入导出数据时找不到连接错误处理 报错: 找不到连接"SourceConnectionOLEDB".如果找不到特定的连接元素,Connections集合 ...

  6. mysql数据库导出后乱码问题_MySQL导入导出数据出现乱码的解决办法

    在mysql导入导出数据时经常出现中文乱码的问题,大多是因类导入导出时编码设置不一致所引起的.本文介绍了不同平台下的编码转换方法,供大家参考. 在linux系统中默认的是utf8编码,而windows ...

  7. mysql命令导入导出数据_mysql命令行导入和导出数据

    MySQL中导出CSV格式数据的SQL语句样本如下: select * from test_info into outfile '/tmp/test.csv' fields terminated by ...

  8. mysql数据库导入外部数据乱码么_解决MySQL数据库导入导出数据乱码的问题

    最近在linux上面用mysqldump导出数据,放在windows系统中导入就会出现中文乱码,然后就会导致出现: Unknown MySQL server host和Can't connect to ...

  9. 记一次SQL Server2005导入Oracle10G的折腾过程【供多种数据库导入导出数据的C#程序源码参考】...

    曾经很早的时候用 SQL Server2000 时就见过我们老大,用 SQL Server2000 的导入导出功能,把数据都导入到了 Oracle9 里去,所以我也对导入导出数据有充分的信心,绝对能做 ...

最新文章

  1. linux常用命令1
  2. 通过mem函数在MicroPython中访问模块寄存器
  3. freemarker中 感叹号、双感叹号、问号、双问号 的使用方法
  4. 5-29 vscode占位
  5. Oracle全库导入表报错 ORA-39126
  6. 作者:王腾蛟(1973-),男,北京大学信息科学技术学院教授、博士生导师,北京大学文理大数据研究中心常务副主任。...
  7. elasticsearch新增_SpringBoot 使用JestClient操作Elasticsearch
  8. 凸优化-真锥和分割超平面
  9. 青岛大学计算机科学技术学院图灵班,北京大学第三届图灵班(2018级)开班仪式举行...
  10. Unity3D 颜色选择器
  11. 如何理解APS系统的生产排程?
  12. PS CS6视频剪辑基本技巧(四)字幕居中和滚动字幕
  13. Numpy:zero()函数
  14. OJ每日一练——爱跑步的师兄
  15. 大公司,一般都怎么开会?
  16. 《热点:引爆内容营销的6个密码》第一章--书摘
  17. Spark1.x升级Spark2.x常见异常【map】
  18. Linux磁盘I/O(二):使用vm.dirty_ratio和vm.dirty_background_ratio优化磁盘性能
  19. 在idea中使用mysql(超详细)
  20. 实验2 som网实验

热门文章

  1. Oracle Database 11.2.0.1(静默安装)
  2. UVa540 Team Queue
  3. jQuery-拖动层(在可视区域范围内)
  4. 弹性分组环(RPR)技术特点及其在城域网中的应用
  5. “金财工程”网络安全 五
  6. 谈谈对分布式事务的一点理解和解决方案
  7. java中的访问修饰符
  8. iOS动画开发之五——炫酷的粒子效果
  9. 2001年 数的划分
  10. IOS,十六进制颜色和RGB颜色的宏定义