一、使用Load语句进行数据的导入

-语法:

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE]INTO TABLE tablename [PARTITION (partcoll = vall, partcol2 = val2 ...)]

*将student01.txt数据导入t2 (t2表没有指定分隔符)

load data local inpath '/root/data/student01.txt' into table t2;

select * from t2--查询检查(需要在建表的时候确定数据分隔符是否与导入数据来源相同,不同的话,数据全为NULL)

*将/root/data下的所有数据文件导入t3表中,并且覆盖原来的数据 (t3表分隔符是逗号)

load data local inpath '/root/data/' overwrite into table t3;

*将HDFS中,/input/student01.txt 导入到t3;(HDFS中的文件导入,不需要添加‘local')

load data inpath '/input/student01.txt/ overwrite into table t3;

*将数据导入分区表

load data local inpath '/root/data/data1.txt' into table partition_table partition (gender = 'M');

二、使用Sqoop进行数据的导入

下载jar包:http://sqoop.apache.org/

解压 :

tar -zxvf sqoop-1.4.5.bin__hadoop-0.23.tar.gz

设置环境变量 :(~/training/hadoop-2.4.1/为hadoop的安装目录)

export HADOOP_COMMON_HOME=~/training/hadoop-2.4.1/export HADOOP_MAPRED_HOME=~/training/hadoop-2.4.1/

使用sqoop导入Oracle数据到hdfs中

./sqoop import --conncet jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp --columns 'empno,ename,job,sal,deptno' -m l --target-dir '/sqoop/emp'

--connect:指定jdbc连接的URL地址,用户名,密码

--table:指明导入的表

--columns:指明导入表的列

-m: mapreduce 的 进程数

--target-dir:导入到hdfs的目录

使用sqoop导入Oracle数据到Hive中

./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp -m l --columns 'empno,ename,job,sal,deptno'

指明表的名字

./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp -m l --columns 'empno,ename,job,sal,deptno' --hive-table empl

使用where条件

./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger --table emp -m l --columns 'empno,ename,job,sal,deptno' --hive-table empl2 where age>10

注意:如果要换行需要在后面加上 (空格和),如:

./sqoop import --hive-import --connect jdbc:oracle:thin:@192.168.56.101:1521:orcl --username scottt --password tiger

hive load data inpath 空目录_走近大数据之Hive进阶(一、Hive数据的导入)相关推荐

  1. hive load data inpath 空目录_Hive内部表 | 每日五分钟学大数据

    上一篇说的是外部表,当把EXTERNAL关键字去掉的时候就是内部表了.为什么叫内部表,因为这种表,Hive会(或多或少地)控制着数据的生命周期. 如果你熟悉Hive那你一定知道,Hive默认情况下会将 ...

  2. hive load data inpath 空目录_hive学习笔记之四:分区表

    欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容:所有原创文章分类和汇总,及配套源码,涉及Java.Docker.Kubernetes.DevO ...

  3. hive load data inpath ‘‘ overwrite into 坑

    load data inpath 'dataDir/dim_url.csv' overwrite into table dim_url partition(day='2021-03') 注意: 1,以 ...

  4. hive load data外部表报错_从0开始学大数据-Hive基础篇

    Hive起源于Facebook,是基于 Hadoop HDFS 分布式文件系统的分布式 数据仓库 架构.它为数据仓库的管理提供了许多功能:数据ETL(抽取.转换和加载)工具.数据存储管理和大型数据集的 ...

  5. hive load data出错

    今天往hive导数据时发生了个错误 hive> load data inpath '/user/tmp/uids.test_copy_3.txt' into table userfeature. ...

  6. load data inpath的实践

    有个需求,需要在hive表里面追加数据,数据是历史数据,是业务方给的一个csv文件, 思路,考虑使用load data inpath,把历史数据导入到hive表里面 步骤: 1.利用已经搭建好的大数据 ...

  7. Hive - Load Data 数据过长或过短

    一.引言 Hive 可以通过 load data inpath 加载本地或者 hdfs 的数据到 hive 表中,有时会出现生成数据长于 hive 表字段或者短于 hive 表字段的情况,经过测试,两 ...

  8. hive内部表和外部表的区别_走近大数据之Hive进阶(四、Hive的表连接)

    HIVE表连接(转换成mapreduce作业,提交到hadoop上) 一.Hive等值连接和不等值连接 等值连接(连接条件中为等号): select e.empno, e.ename,e.sal,d. ...

  9. Hive load data 时中文乱码的解决

    检查建表的字段分隔符,我的是 制表符(\t) 所以在保存为文本文件的时候要注意是要用制表符(\t)分隔 最重要的一步: 保存文本文件的时候要注意,文件编码要为无BOM头的UTF-8编码 最后执行命令即 ...

最新文章

  1. 一个很有意思的问题: 揭示了计算机程序问题的一般处理思路
  2. dedeampz mysql启动不了_localhost打不开?dedeampz环境启动不了?本地php环境启动失败?...
  3. 标准输入流和输出流分别是啥,高效字符流的方法
  4. redis学习篇(十)-----高级特性之持久化处理
  5. % mysql 代表_MySQL中的星号(*)和百分号(%)代表表示什么,MySQL的库名、表名、字段名、字段值是否区分大...
  6. 修改Linux系统日期与时间date clock
  7. Java学习笔记之基础应用(2015.3.21)
  8. 【Vue】路由Router传参的两种方式(详解)
  9. 计算机一级wps选择题必背知识点,计算机一级考试wps选择题专项训练
  10. qt设置 阿里巴巴普惠体 英文_怎样把免费的阿里巴巴普惠字体设置为Office全家桶软件主题字体?...
  11. Edge 浏览器有秘密白名单,允许 Facebook 运行 Flash 代码
  12. 获取cookie_XSS获取COOKIE
  13. jQuery----分页插件实现
  14. 电源管理总线 (PMBus)
  15. CPDA|数据分析很难学?分享最有效的学习路径!
  16. IP种子——网络安全的重要组成部分
  17. 计算机类团队名称大全,团队名字大全好听
  18. 基于Spring Boot的微生活的设计与实现
  19. java输出三角形星星
  20. 06 基于v5-resources在macos系统搭建a8服务

热门文章

  1. B站王道论坛计算机网络,成都理工大学计算机网络考研学长经验分享
  2. oracle flashback table 参数,Oracle10g中FLASHBACK TABLE语句恢复DML误操作
  3. 安卓的短信记录导入苹果_安卓换苹果手机后怎么转移便签数据?
  4. Java 和 HTTP 的那些事(四) HTTPS 和 证书
  5. 主成分分析 图像处理 matlab,matlab信号处理与主成分分析法,毕业设计求助
  6. 从一张搞笑图看JavaScript的语法和特性
  7. linux上logbok实时日志_日志lombok插件安装及配置
  8. html 里运行php文件,如何在HTML文件中运行PHP脚本
  9. 用c#算成绩的总和_C# 基础知识系列- 6 Lambda表达式和Linq简单介绍
  10. HRFormer 多分辨率Transformer 参数骤降,性能更强