知识回顾

###（1）hadoop简介
数据存储与数据计算
hdfs ：通过分布式文件存储对数据进行存储；
MapReduce：通过MapReduce进行数据的计算；

（2）hadoop生态圈简介

实时数仓：
spark 、 kafka等等

离线数仓：
hdfs 、 MapReduce 、 sqoop 、 hive等工具

（3）关系型数据库与非关系型数据库

关系型数据库：传统的数据库，Oracle、MySQL等等；

非关系型数据库：HBASE 、 Redis等等

注：非关系型数据库中存储数据本来没有任何关系，在使用之前需要通过Java等语言进行关系建立再对数据进行操作；

（4）HDFS中一些简单的操作语句

a.增

b.删

c.改

d.查

e.关闭安全模式

d.从主机上传文件到hdfs

一、HIVE简单介绍

HIVE - 建立数仓的一种工具，数仓引擎
hdfs MapReduce sqoop hive
工作原理：
sqoop 会将数据导入到hdfs中进行存储，任何MapReduce 对hdfs中存储的数据进行计算，但MapReduce中使用的是Java语言，而我们就可以通过hive通过hivesql语言在hive中编译好之后，通过hadoop生态圈将hivesql转换为MapReduce程序；

二、启动hive

1. 存放元数据的地方

要了解标题中的意思，就得先了解什么是元数据

元数据：用于描述数据的数据（相当于Oracle的字段名）

这些元数据由MySQL来存放；

2.启动hadoop

3.启动hive

hive 在/opt/moudle/文件下的apache-hive-2.1.1-bin目录之下；

4.hive的一些基本操作

4.1 查看数据库

show databases

查出来两个数据库，一个default和一个test；

4.2 查看表

show tables

上面是我上午建的一个test1表

4.3 使用（选择）数据库

use default #对应的数据库名

4.4 创建表

在hive中可以直接使用类SQL语言（MySQL）进行表的创建操作，如下所示：

再通过show tables命令查看表是否创建成功，如下所示：

上面明显可以看到我们创建的test2表已经被创建，我们还可以通过desc test2 #目标表名指令查看目标表结构：

4.5 创建数据库

create database testdb #要创建的数据库名

创建后并查看的结果：

4.6 表的查询与数据插入

查询表：

原先创建的表test2中没有数据，下面我们试着向其中插入数据后再进行查询：

hive中的没有delete和update语句；

4.7 在hdfs上运行hive中的语句及运行文件

hive -e "select * from t5" #双引号中加上需要运行的语句hive -f './test5'  #单引号中加上需要运行文件的路径

示例：创建一个学生表，里面包含学生ID（s_id）、学生姓名（s_name）、学生性别（s_sex）；

建立数据文件stu_data（数据间使用Tab键进行分割）：

1        张三    男
2       李四    男
3       王菲    女
4       刘玥    女
5       刘墉    男
6       黄辉冯  男
7       陈美嘉  女
8       胡一菲  不详
9       张伟    男
10      曾小贤  男
11      吕子乔  男
12      陆展博  男
13      林宛瑜  女
14      唐悠悠  女
15      秦羽墨  女
16      关谷神奇        男
17      大师兄  男
18      楼下小黑        男

建立建表文件c_stu_table（文件中限定使用Tab键作为分隔符）：

create table stu_table (s_id int ,s_name string ,s_sex string)
row format delimited
fields terminated by '\t';

使用hive -f './c_stu_table'创建表stu_table；

然后使用hive -e "select * from stu_table"检查一下表是否被创建：

表创建成功，下面进行数据上传操作，代码如下

hive -e "load data local inpath'./stu_data'into table stu_table"

运行完上诉代码后验证一下表中数据是否以及上传进去：

OK
题目完成；

22/02/17学习笔记相关推荐

Elasticsearch7.17学习笔记
前言本学习笔记主要基于阅读Elasticsearch7.17版本官方文档和实操总结而来,官方文档地址https://www.elastic.co/guide/en/elasticsearch/re ...
《刘嘉·概率论22讲》学习笔记（完）
00.发刊词:学一门让你抓住未来的学问未来是不确定的,只要涉及到选择,涉及到决策,就一定会用到概率思维. 用概率思维进行决策的第一步,就是要把现实问题,变成一个对的概率问题. 概率论的四大基石--随 ...
2022.1.17 学习笔记（SPN中业务是如何传输的，主要是业务切片的调度编排）
一.SPN简介 SPN 技术是一种基于 SDN 架构.具有硬切片特性的的时分复用技术,具有高效的路由分配.多通道聚合,不同业务间的网络切片,以及低时延的交换的特点.SPN 架构上分为 SPL层,SCL ...
【转】02.Dicom 学习笔记-DICOM C-Find 消息服务
引言前篇介绍了 DICOM C-Store 消息服务,本文结合开源 DICOM 库 fo-dicom 详细介绍一下 C-Find 服务. C-Find 消息服务 C-Find 服务是一个查询 ...
[尚硅谷22版shiro]学习笔记
Shiro 概述 shiro是什么 Apache Shiro 是一个功能强大且易于使用的 Java 安全(权限)框架.Shiro 可以完成:认证.授权.加密.会话管理.与 Web 集成.缓存等.借助 ...
2015年10月22日CSS学习笔记
XHTML1.0对HTML4.0的改进借鉴了XML的写法,语法更加严格. 把页面的内容和样式分离了,废弃了html4中的表示样式的标签和属性.推荐使用css来描述页面的样式. CSS样式的优先级 ! ...
02英语学习笔记01电影《遇见你之前》句子摘抄
谢谢你为我带来欢乐克拉克小姐 "Thank you, Miss Clark, for attempting to entertain me." 2.你知道吗克拉克 Do you ...
pythonsze_python学习笔记二数据类型（基础篇）
Python基础对于Python,一切事物都是对象,对象基于类创建不同类型的类可以创造出字符串,数字,列表这样的对象,比如"koka".24.['北京', '上海', '深圳' ...
Android学习笔记：Android基础知识点（不断更新中）
1.Android学习笔记:OkHttp 2.Android学习笔记:更新UI的方法(UI线程和非UI线程) 3.Android学习笔记:Volley 4.Android学习笔记:Handler 5. ...

22/02/17学习笔记