查看数据库
show databases;进入到某个数据库use default;

展示有哪些表show tables;

不进入Hive的命令行窗口就可以执行SQL语句[root@master test]# hive -f hive-seclet.sql

hive (default)> quit;hive (default)> exit;exit:先提交数据,然后退出 quit:不提交数据,直接退出。

使用Hive的命令行窗口执行HDFS文件系统的查询hive (default)> dfs -ls /hive;

使用Hive的命令窗口查看本地文件系统的文件和目录hive (default)> ! ls /opt;

在本地文件系统中会存储hive中执行的命令的历史(在当前用户主目录)[root@master ~]# cat .hivehistory

基本数据类型
Hive数据类型 长度 Java中对应的类型 example
tinyint 1字节  byte  20
int 4字节 int 111111
smallint 2字节 short 222
       
       
       
       
       
       
       
       
集合类型
数据 类型 描述
   
   
   
创建表create table employees(id int,name string)row format delimited fields terminated by '\t';

查询select * from employees;

DDL的简单操作

在HDFS上创建数据库:warehouse/hahahive (bigdata)> create database haha;

建议:以后加上if not exists判断hive (bigdata)> create database if not exists haha;

修改数据库的属性alter database haha set dbproperties('createtime'='20180808');注意:数据库中的一些属性可以修改,但是数据库的名字和数据库所在 目录不可更改。

查看数据库条件查询数据库hive (default)> show databases like 'li*';

查询数据库的详细信息hive (default)> desc database bigdata;

使用数据库hive (default)> use bigdata;

删除数据库hive (bigdata)> drop database if exists lisi;

删除非空数据库hive (bigdata)> drop database bigdata;

强制删除非空数据库hive (bigdata)> drop database bigdata cascade;

创建表语法
  CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name   
  [(col_name data_type [COMMENT col_comment], ... [constraint_specification])]
  [COMMENT table_comment]
  [PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)]
  [CLUSTERED BY (col_name, col_name, ...) [SORTED BY (col_name [ASC|DESC], ...)] INTO num_buckets BUCKETS]
  [SKEWED BY (col_name, col_name, ...) -- (Note: Available in Hive 0.10.0 and later)]
     ON ((col_value, col_value, ...), (col_value, col_value, ...), ...)
     [STORED AS DIRECTORIES]
  [
   [ROW FORMAT row_format] 
   [STORED AS file_format]
     | STORED BY 'storage.handler.class.name' [WITH SERDEPROPERTIES (...)] 
  ]
  [LOCATION hdfs_path]
  [TBLPROPERTIES (property_name=property_value, ...)]   
  [AS select_statement];  
 
CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.]table_name
  LIKE existing_table_or_view_name
  [LOCATION hdfs_path];
 
data_type
  : primitive_type
  | array_type
  | map_type
  | struct_type
  | union_type 
 
primitive_type
  : TINYINT
  | SMALLINT
  | INT
  | BIGINT
  | BOOLEAN
  | FLOAT
  | DOUBLE
  | DOUBLE PRECISION -- (Note: Available in Hive 2.2.0 and later)
  | STRING
  | BINARY      -- (Note: Available in Hive 0.8.0 and later)
  | TIMESTAMP   -- (Note: Available in Hive 0.8.0 and later)
  | DECIMAL     -- (Note: Available in Hive 0.11.0 and later)
  | DECIMAL(precision, scale)  -- (Note: Available in Hive 0.13.0 and later)
  | DATE        -- (Note: Available in Hive 0.12.0 and later)
  | VARCHAR     -- (Note: Available in Hive 0.12.0 and later)
  | CHAR        -- (Note: Available in Hive 0.13.0 and later)
 
array_type
  : ARRAY < data_type >
 
map_type
  : MAP < primitive_type, data_type >
 
struct_type
  : STRUCT < col_name : data_type [COMMENT col_comment], ...>
 
union_type
   : UNIONTYPE < data_type, data_type, ... >  
 
row_format
  : DELIMITED [FIELDS TERMINATED BY char [ESCAPED BY char]] [COLLECTION ITEMS TERMINATED BY char]
        [MAP KEYS TERMINATED BY char] [LINES TERMINATED BY char]
        [NULL DEFINED AS char]   -- (Note: Available in Hive 0.13 and later)
  | SERDE serde_name [WITH SERDEPROPERTIES (property_name=property_value, property_name=property_value, ...)]
 
file_format:
  : SEQUENCEFILE
  | TEXTFILE    -- (Default, depending on hive.default.fileformat configuration)
  | RCFILE      -- (Note: Available in Hive 0.6.0 and later)
  | ORC         -- (Note: Available in Hive 0.11.0 and later)
  | PARQUET     -- (Note: Available in Hive 0.13.0 and later)
  | AVRO        -- (Note: Available in Hive 0.14.0 and later)
  | JSONFILE    -- (Note: Available in Hive 4.0.0 and later)
  | INPUTFORMAT input_format_classname OUTPUTFORMAT output_format_classname
 
constraint_specification:
  : [, PRIMARY KEY (col_name, ...) DISABLE NOVALIDATE ]
    [, CONSTRAINT constraint_name FOREIGN KEY (col_name, ...) REFERENCES table_name(col_name, ...) DISABLE NOVALIDATE 
说明:  1. CREATE TABLE 创建一个指定名字的表。如果相同名字的表已经存 在,则抛出异常;用户可以用 IF NOT EXISTS 选项来忽略这个异常。 2. EXTERNAL 关键字可以让用户创建一个外部表,在建表的同时指定 一个指向实际数据的路径(LOCATION),Hive 创建内部表时,会 将数据移动到数据仓库指向的路径;若创建外部表,仅记录数据所 在的路径,不对数据的位置做任何改变。在删除表的时候,内部表 的元数据和数据会被一起删除,而外部表只删除元数据,不删除数 据。 3. COMMENT:为表和列添加注释。 4. PARTITIONED BY 创建分区表 5. CLUSTERED BY 创建分桶表 6. SORTED BY 不常用  7. 用户在建表的时候可以自定义 SerDe 或者使用自带的 SerDe。如果 没有指定 ROW FORMAT 或者 ROW FORMAT DELIMITED,将会 使用自带的 SerDe。在建表的时候,用户还需要为表指定列,用户 在指定表的列的同时也会指定自定义的 SerDe,Hive通过 SerDe确定表的具体的列的数据。 8. STORED AS 指定存储文件类型 常用的存储文件类型:SEQUENCEFILE(二进制序列文件)、 TEXTFILE(文本)、RCFILE(列式存储格式文件)如果文件数据是纯文本,可以使用 STORED AS TEXTFILE。如果数据需要压缩,使用 STORED AS SEQUENCEFILE。 9. LOCATION :指定表在 HDFS 上的存储位置。 10. LIKE 允许用户复制现有的表结构,但是不复制数据。 11. TBLPROPERTIES表的属性  12. AS select_statement将其他查询结果作为这个表的数据导入

内部表默认创建的表都是所谓的内部表,有时也被称为管理表。因为这种表,Hive 会(或多或少地)控制着数据的生命周期。Hive默认情况下会将这些表的数据存储在由配置项 hive.metastore.warehouse.dir(例如,/hive/warehouse)所定义的目录的子目录下。当我们删除一个内部表时,Hive也会删除这个表中数据。内部表不适合和其他工具共享数据。

创建内部表create table if not exists te acher(id int,name string) row format delimited fields t erminated by '\t' stored as textfile location '/wang/wangchen/teac her';

根据查询结果创建表hive (wangchen)> create table if not exists st udent2 as select * from student;

根据已经存在的表创建表create table if not exists student2 as select * from student;

查询表的类型desc formatted student3;

外部表创建外部表,仅记录数据所在的路径,不对数据的位置做任何改变。Hive 并非认为其完全拥有这份数据。删除该表并不会删除掉这份数据,不过描述表的元数据信息会被删除掉。创建表的基本语法hive (wangchen)> create external table area(id int,aname string)row format delimited fields termi nated by '\t';

导入数据hive (wangchen)> load data local inpath '/opt/ test/student' into table area;

查看数据hive (wangchen)> select * from area;

查询表的类型hive (wangchen)> desc formatted area;

删除表hive (wangchen)> drop table area;

分区表分区表实际上就是对应一个HDFS文件系统上的独立的文件夹,该文件夹下是该分区所有的数据文件。Hive中的分区就是分目录,把一个大的数据集根据业务需要分割成小的数据集。在查询时通过WHERE子句中的表达式选择查询所需要的指定的分区,这样的查询效率会提高很多。

转载于:https://www.cnblogs.com/jiangnange/p/9471758.html

Hadoop-Hive常用,命令相关推荐

  1. Hadoop Yarn常用命令

    文章目录 Hadoop Yarn常用命令 1 查看任务 1.1 yarn application -list 1.2 yarn application -list -appStates 1.3 kil ...

  2. 【大数据开发运维解决方案】hadoop fs常用命令案例解释

    文章目录 前言 一.hadoop fs常用命令参数列表 二.案例展示 hadoop fs -mkdir hadoop fs -ls hadoop fs -put hadoop fs -get hado ...

  3. hadoop组件---数据仓库(四)---hive常用命令

    安装好hive的环境之后 我们可以尝试一些常用的命令,常用命令也可以作为平时工作中的速查手册. 进入hive控制台 首先需要知道hive的启动目录在哪,可以使用命令 whereis hive 启动hi ...

  4. hadoop fs常用命令

    hadoop fs -help 当执行-help命令后,可以列出所有命令帮助信息 查看某一命令的帮助信息可在-help后面跟上所要查询的命令,以cat命令为例: hadoop fs -help cat ...

  5. Hadoop fs 常用命令

    操作hdfs系统可以使用hadoop fs 也可以使用 hdfs dfs ,两者效果一样. Hadoop启动: start-all.sh 等价于 start-dfs.sh + start-yarn.s ...

  6. 数据仓库组件hive常用命令

    1.使用xshell登录至hive服务器内,输入hive进入hive数据库,如图所示: 2.查看hive中的所有数据库:show databases; 3.用default数据库:use defaul ...

  7. Hadoop之Hive常用命令大全

    (1)进入Hive数据库 在hive文件下: bin/hive (2)查看某个数据库 show databases; (3)进入某个数据库  use xxx; 系统默认使用default数据库: us ...

  8. HIVE常用命令之MSCK REPAIR TABLE命令简述

    工作中发现很多同事连基础的hive命令都不知道,所以准备写一个系列把hive一些常用的命令进行一个总结.第一个讲的命令是MSCK REPAIR TABLE. MSCK REPAIR TABLE 命令是 ...

  9. Hadoop HDFS常用命令

    在Linux命令行终端,我们可以利用Shell命令对Hadoop进行操作.利用这些命令可以完成HDFS中文档的上传.下载.复制.查看文件信息.格式化名称节点等操作.关于HDFS的Shell命令有一个统 ...

  10. hadoop一些常用命令

    假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop. 启动与关闭 启动Hadoop 1.         进入HADOOP_HOME目录. 2.         执 ...

最新文章

  1. php case语句 分号
  2. oracle 回滚段介绍(三)
  3. 11.05 scrum report
  4. 四十六、You-Get爬取B站热门排名的小视频
  5. 理解SQL SERVER中的分区表
  6. 如何用Excel统计出各科指定分数段的人数?(亲测)
  7. Java异常处理教程(包含示例和最佳实践)
  8. 提高测试脚本复用性降低DOM结构引起路径变化的影响
  9. DevexPress checkedit 多选解决方案(原创)
  10. tomcat 莫名奔溃问题
  11. python和java还有sql区别_人人都在学编程?Python,R,Java,SQL,你究竟需要学哪一种?...
  12. Fudan-NLP-Beginner:自然语言处理入门练习
  13. This License XXX has been cancelled
  14. 2019 Google Developder Days(GDD)
  15. 学习笔记 - 大数据导论
  16. [2018][PAMI]Deep Self-Evolution Clustering 笔记
  17. Pandas库基本使用
  18. 计算机投影到数字电视的方法,怎么把电脑投屏到电视有线(电脑无线投屏到电视机的方法)...
  19. 《CCNP ROUTE 300-101认证考试指南》——8.2节 LSA和OSPF链路状态数据库
  20. bzoj2733 [HNOI2012]永无乡

热门文章

  1. 构建Spring Web应用程序
  2. 傅盛:认知升级三部曲(深度好文)
  3. 原生JavaScript批量下载文件压缩包
  4. dau计算公式_手游LTV(用户终生价值)计算公式
  5. 和风天气更新数据失败原因分析
  6. 关于CNN中感受野的理解和计算方法
  7. html图片做成菱形,CSS秘密花园:菱形图片
  8. 作为兼并重组的重要方式之一,企业合并、分立的具体形式?
  9. UVA 10827 Maximum sum on a torus .
  10. HTCVIVE无线套装安装后unityvr项目无法在头盔中显示