下面是系列文章的目录

(1)hive系列之简介,安装,beeline和hiveserver2

(2)hive系列之基本操作

(3)hive系列之udf

(4)hive系列之二级分区和动态分区

(5)hive系列之分桶表

(6)hive系列之常用函数

(7)hive系列之系统讲解开窗函数

(8)hive系列之存储格式及常用压缩格式

(9)hive系列之数据仓库建模理论

(10)hive系列之数据仓库建模-维度表和事实表

(11)hive系列之数据仓库建模-退化维度和缓慢变化维

(12)hive系列之常用企业性能优化1

(13)hive系列之常用企业性能优化2

(14)hive系列之常用企业性能优化3

什么是hive

hive由 FaceBook 开源 ,是一个数据仓库基础工具,可以将结构化的数据映射成一张表,能够直接处理我们输入的 SQL 语句(Hive 的 SQL 语法和标准数据库标准的 SQL 略有不同),调用 MapReduce 计算框架完成数据分析操作。

这是官网上的 hive 架构图

我们利用 hive 的 Client (命令行或者jdbc客户端)向hive提交sql命令。

如果是创建表的ddl,Hive 就会通过执行引擎 Driver 将数据表的信息记录在 Metastore 元数据组件中,这个组件通常有一个关系数据库实现,记录表名、字段名、字段类型、关联 HDFS 文件路径等这些数据库的 Meta 信息(元信息)。

如果是分析数据的 DQL (数据查询语句),Driver 就会将该语句提交给自己的编译器 Compiler 进行语法分析、语法解析、语法优化等一系列操作,最后生成一个 MapReduce 执行计划。然后根据执行计划生成一个 MapReduce 作业,提交给 Hadoop MapReduce 计算框架处理。

Hive 的安装

这里并不想花太多篇幅去写怎么安装,安装过程我之前发表在了博客园里:

https://www.cnblogs.com/nicekk/p/9028514.html

beeline 和 hiveserver2

Hiveserver2 是一个服务端接口,使远程客户端可以执行对Hive 的查询并返回。启动 Hiveserver2 后,就可以使用jdbc,odbc,beeline 或者 thrift 方式连接。

beeline 是 Hive 新的客户端命令行工具,会陆续替代掉 hive cli。

如下图连接到hiveserver2服务器上

命令如下:

beeline

!connect jdbc:hive2://hadoop002:10000 hadoop 123456

我们在beeline中执行一个sql查询:

下一篇,是 Hive 的基本操作

数据库相关,表相关,内部表,外部表,分区表,加载到表中,从表中导出数据,和其他一些命令

最后,还是有一点心得体会

Hive 本身的技术架构其实没什么创新,数据库相关的技术和架构已经非常成熟,只要将这些技术架构应用到 MapReduce 上就得到了 Hadoop 大数据仓库 Hive。

但是想到将两种技术嫁接到一起,却是极具创新的,通过嫁接产生出的 Hive 可以极大降低大数据的应用门槛,也使 hadoop 大数据技术得到大规模普及。

beeline安装_Hive 系列 之 简介与安装相关推荐

  1. Redis6 系列一 简介与安装

    Redis6 系列一 简介与安装 穆成祥 千缘科技 1.      NoSQL数据库简介 1.1.  技术发展 技术的分类 1.解决功能性的问题:Java.Jsp.RDBMS.Tomcat.HTML. ...

  2. H2教程系列(一) 简介与安装

    H2教程系列文章目录 第一章 H2入门之简介与安装 第二章 H2入门之创建数据库 简介与安装目录 H2教程系列文章目录 一.简介 1.主要特点 2.附加的功能 3.H2数据库中的组件 二.安装 1.下 ...

  3. python编程之pygame游戏开发系列——软件简介与安装

    视频地址 编程工具选择 IDLE:初级入门 vscode:我们将使用的软件. pycharm:免费 anaconda:科学计算 vscode 的安装 下载 地址 地址2:自动下载符合你系统的安装程序 ...

  4. hive mysql集群安装_HIVE完全分布式集群安装过程(元数据库: MySQL)

    [root@node01 mysql]# mysql -u hive -p Enter password: mysql> create database hive; Query OK, 1 ro ...

  5. Redis简介及安装

    Redis简介及安装 文章目录 Redis简介及安装 一.nosql介绍 1.NoSQL 2.NoSQL和SQL数据库的比较: 二.Redis 1.简介 2.Redis特性 3.Redis 优势 4. ...

  6. OpenVas简介与安装

    OpenVas简介与安装 前言 OpenVas简介与安装 文章目录 OpenVas简介与安装 OpenVas简介 OpenVas安装 VMware安装OpenVAS 一.创建虚拟机 二.安装镜像文件 ...

  7. QGIS从零开始进阶 第一章 QGIS简介与安装

    这里写自定义目录标题 第一章 QGIS简介与安装 第一节 QGIS介绍 第二节 QGIS下载与安装 第一章 QGIS简介与安装 第一节 QGIS介绍 QGIS(原称Quantum GIS)是一个自由软 ...

  8. Python爬虫——Scrapy 简介和安装

    文章目录 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 2.Scrapy 下载安装 Python爬虫--Scrapy 简介和安装 1.Scrapy 简介 Scrapy 简介 S ...

  9. hive 导出json格式 文件_Hive 系列 之 基本操作合集

    下面是本课程概览: (1)hive系列之简介,安装,beeline和hiveserver2 (2)hive系列之基本操作 (3)hive系列之udf (4)hive系列之二级分区和动态分区 (5)hi ...

最新文章

  1. Android setOnItemClickListener cannot be used with a spinner
  2. linux下IO口模拟I2C的一些总结
  3. 剑指offer六:旋转数组的最小数字
  4. MFC 网络编程小结
  5. 耶鲁大学计算机科学录取,2020年耶鲁大学排名TFE Times美国最佳计算机科学硕士专业排名第18...
  6. Bifrost微前端框架及其在美团闪购中的实践
  7. python之作业--------购物车优化
  8. 电脑投屏电视怎么设置_夏普电视怎么投屏?投屏功能在哪?
  9. Java NIO 之 I/O基本概念(二)
  10. WIFI远程控制实例分享,喜欢你就来!
  11. 比特大陆60天 :夺权、立威下的疯狂裁员
  12. 立即执行的js插件,转成可以在VUE环境下使用,
  13. 投奔“自动驾驶第一城”—— 一场说走就走的“迁都”
  14. 让卫浴间四季花香 最懂你的智能马桶 ——安华智能坐便器aB13017-1众测报告
  15. 粒子系统模拟-计算机图形学 豆瓣,粒子系统
  16. android 相机预览的分辨率,Android开发 Camera2开发_2_预览分辨率或拍照分辨率的计算...
  17. 崔毅东 C++程序设计入门(上) 第5单元:万类霜天竞自由 – 对象和类的更多内容 笔记
  18. VINS笔记1——滤波与优化
  19. 艾伟也谈项目管理,工作感言:任务分配及管理
  20. 计算机英语二国家线,2017考研英语二国家线

热门文章

  1. keepalived 负载 mysql 3306端口问题
  2. C++11 POD 类型
  3. 常见解压缩软件与其zip格式
  4. C#GDI绘制自定义字体
  5. 列出搜索过的数据(类似京东顶部搜索框)
  6. 常用的几个JQuery代码片段
  7. ios创建自定义控件必须具备的三个方法
  8. 转Oracle性能参数—经典常用
  9. Float,Double单双精度在线转换成二进制
  10. 学习日记之工厂方法模式和Effective C++