hive 语句总结_Hive常用命令总结
本文只是总结一些在Hive中常用的命令,并且假设需要的目录或者数据已经存在。
创建表,\t作为列的分隔符
create table trade_detail (id bigint,income double,expenses double,time string) row formate delimited fields terminated by '\t';
create table user_info(id bigint, account string, name string, age int) row format delimited fields terminated by '\t';
接下来是稍复杂的语句,创建表的的同时进行赋值
create table result row format delimited fields terminated by '\t' as select t1.account, t1.income, t1.expenses, t1.surplus, t2.name from user_info t2 join (select account, sum(income) as income, sum(expenses) as expenses, sum(income-expenses) as surplus from trade_detail group by account) t1 on(t1.account = t2.account);
加载本地文件到数据表中
load data local inpath '/home/hadoop/data/student.txt' overwrite into table student;
load data local inpath '/home/hadoop/data/user_info.doc' overwrite into table user_info;
创建外部表 ,创建外部表的一般情况指的是:先有文件存放着数据,之后我们再来创建表,也就是说创建一张表,然后指向这个有数据的目录。以后只要是向这个目录中上传符合格式的数据会被自动装在到数据库表中,因为在metastore(元数据)会记录这些信息
create external table t_detail(id bigint, account string, income double, expenses double, time string) ) row format delimited fields terminated by '\t' location '/hive/td_partition';
创建分区表,一般用于数据量比较大的情况下, partitioned by (logdate string)用来指定按照什么进行分区
create external table t_detail(id bigint, account string, income double, expenses double, time string) row format delimited fields terminated by '\t' location '/hive/td_partition' partitioned by (logdate string);
将mysql中的数据直接保存到Hive中
sqoop export --connect jdbc:mysql://192.168.8.103:3306/hmbbs --username root --password hadoop --export-dir '/user/hive/warehouse/pv_2013_05_31/000000_0' --table pv
基本的插入语法
insert overwrite table tablename [partiton(partcol1=val1,partclo2=val2)]select_statement from t_statement
insert overwrite table test_insert select * from test_table;
更新表的名称
hive> alter table source RENAME TO target;
添加新一列
alter table invites add columns (new_col2 INT COMMENT 'a comment');
删除表:
DROP TABLE records;
删除表中数据,但要保持表的结构定义
dfs -rmr /user/hive/warehouse/records;
显示所有函数
show functions;
查看函数用法
describe function substr;
内连接
SELECT sales.*, things.* FROM sales JOIN things ON (sales.id = things.id);
查看hive为某个查询使用多少个MapReduce作业
Explain SELECT sales.*, things.* FROM sales JOIN things ON (sales.id = things.id);
外连接
SELECT sales.*, things.* FROM sales LEFT OUTER JOIN things ON (sales.id = things.id);
SELECT sales.*, things.* FROM sales RIGHT OUTER JOIN things ON (sales.id = things.id);
SELECT sales.*, things.* FROM sales FULL OUTER JOIN things ON (sales.id = things.id);
创建视图
hive> CREATE VIEW valid_records AS SELECT * FROM records2 WHERE temperature !=9999;
查看视图详细信息
hive> DESCRIBE EXTENDED valid_records;
hive 语句总结_Hive常用命令总结相关推荐
- 分析函数hive计算均值_hive常用函数及优化
常用函数 1.数学函数 round(double a,int d ) 四舍五入 floor(double a)对给定数据进行向下舍入最接近的整数.例如floor(21.8),返回21. ceil(do ...
- 删除mysql数据库中表abc语句_MySQL数据库常用命令大全
我们经常用到的MySQL数据库常用命令 一.连接MySQL 格式: mysql -h主机地址 -u用户名 -p用户密码 1.例1:连接到本机上的MYSQL. 首先在打开DOS窗口,然后进入目录 mys ...
- hive 时间函数_Hive常用大法(聚合/排序/分组)
Hello大家好,今天我们继续上篇文章,为大家分享一些Hive在工作中常用的聚合函数,分组函数,排序等等---- 我们就直接从聚合函数开始,什么是聚合函数呢,其实就是一句话,将多行合并为一行,就这么简 ...
- hive in 字符串_hive常用函数 concat concat_ws row_number
在应用hive在数据仓库中进行数据提取中经常会用户很多函数,为了记录自己常用的hive函数,特写这个系列的文章,记录下自己的使用心得,其中包括使用场景.用法等. 1.concat concat是字符拼 ...
- SQL语句性能分析常用命令
DBCC freeproccache DBCC dropcleanbuffers 1.set statistics IO {ON| OFF} /*Transact-SQL 语句生成的磁盘活动量的信息* ...
- hive 复合类型_hive 常用函数整理 9.复合类型操作
1. map类型构建: map 语法: map (key1, value1, key2, value2, -) 说明:根据输入的key和value对构建map类型 举例: hive> Creat ...
- linux与hadoop常用命令梳理
我们使用数据库进行分析和建模,最直接的是使用本地保存好的文件直接读取进行统计等操作,实际工作中一般使用存储数据的数据平台进行操作,比较方便的是用可视化平台比如大数据交互平台hue,没当没有可视化平台的 ...
- Hive Shell 常用命令
Hive 命令行常用命令 加载数据 load data local inpath '/home/IVR_CSR_MENU_MAP.txt' into table ivr_csr_menu_map; ...
- hadoop组件---数据仓库(四)---hive常用命令
安装好hive的环境之后 我们可以尝试一些常用的命令,常用命令也可以作为平时工作中的速查手册. 进入hive控制台 首先需要知道hive的启动目录在哪,可以使用命令 whereis hive 启动hi ...
最新文章
- 通过Live Writer Blog客户端来写blog
- 网络通信模型(IO模型)
- 成功解决AttributeError: module 'cv2.cv2' has no attribute 'xfeatures2d'
- 信息系统项目管理师考试资料
- Scott Mitchell 的ASP.NET 2.0数据教程之四十四::DataList和Repeater数据分页
- 按比例切分组合数值(洛谷P1008、P1618题解,Java语言描述)
- POST—GET—两种提交方式的区别
- python pdb调试快捷键,Python调试工具pdb使用详解
- python学习总结----异常处理
- Coursera | 免费上Coursera-助学金申请流程
- Android应用生命周期实现简单的秒表App
- ruby 去除字符空格
- 十大api接口平台(接口商)
- 苹果手机投影到墙上_买家用投影仪必须知道的常识(去专业、简单易懂,绝对无广告)...
- 读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY4
- android设置图片亮度分10档,批处理图片同时调整图片亮度批处理图的大小压缩图片裁边(6页)-原创力文档...
- SaaS系统设计研发细节复盘
- Linux如何ping本机IP,Linux ping6 本地ipv6地址无效的参数
- 政府引导基金管理平台,携手政府成就资本与产业的“双向奔赴”!
- python实现百度新闻爬取并存入数据库(二)
热门文章
- 机器学习在本体中的应用研究文献综述
- 进程控制块包含的信息
- 严蔚敏数据结构:链表实现一元多项式相加
- java伪协议_通过伪协议解决父页面与iframe页面通信的问题
- 力软 java主从表保存_JAVA常用知识总结(十二)——数据库(二)
- java样式是什么_java css样式 css样式的种类 选择器 文本相关样式 背景相关样式 边框 盒子模式...
- git 拉取远程其他分支代码_【记录】git 拉取远程分支代码,同步到另一个git上...
- 【Python基础入门系列】第02天:Python 基础语法
- platform驱动开发套路、DM9000的一些分析
- linux内核的一些常识介绍