区分各个SQL的概念

SQL

SQL(Structured Query Language)是一种结构化查询语言，是一种语言
常用数据类型是 int 、varchar(size)

MySQL

MySQL是一种关系型数据库管理系统，是一种系统，利用SQL语言来管理数据库

Hive 的 SQL

首先理解Hive，Hive是基于Hadoop的一个数据仓库工具，是一个工具
Hive是为了简化MapReduce编程，用HQL查询语言区实现，而其本身不进行存储和计算
Hive的用处：用来进行数据提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据
注：Hive的查询语言并不是SQL而是自己的查询语言HQL
常用数据类型 int 、string

Hive架构
1.Client：用户接口
2.MetaStore：元数据库，存放表的元数据，推荐用MySQL进行存储
3.Hadoop：使用HDFS存储，利用MapReduce进行计算
4.Driver驱动器

Hive的功能
1.将结构化数据文件映射成一张表格
2.提供类SQL查询语言HQL(Hive Query Language)，HQL可以用来对表进行各种操作

Hive 的本质
Hive通过给用户提供的一系列交互接口，接收到用户的指令(HQL)，使用自己的Driver，结合元数据(MetaStore)，将这些指令翻译成MapReduce，提交到Hadoop中执行，最后，将执行返回的结果输出到用户交互接口。
简而言之就是将HQL查询语言转换为MapReduce程序

HQL如何转换为MapReduce程序
1.常用的HQL语言的查询操作用MapReduce程序写成很多模板
2.Hive将所有的模板进行封装
3.输入HQL语句
4.Hive去匹配相应的模板
5.运行相应的MapReduce程序
6.得到结果

个人理解
我们在利用HQL建表的时候会规定表的各种结构，当我们把结构化数据文件载入到表中时，我们就完成了Hive的第一个功能：将结构化数据文件映射成一张表；然后就可以用HQL语言对该表进行操作，此时完成了Hive的第二个功能：提供了类SQL的查询语言HQL

Spark SQL

Spark SQL是Spark处理结构化数据的一个模块，无缝整合了Spark编程和SQL查询语言
可以使用SQL语言和Hive的HQL语言

Spark SQL 和 Hive

Spark SQL兼容Hive
如果在Spark SQL上执行Hive语句，这种叫做Spark on Hive
如果在Hive上执行Hive语句，但是执行引擎是Spark的话叫做Hive on Spark

写SQL思路

1.分析要输出的字段来自哪些表
2.将这些表进行连接，采取什么连接
3.按照需求进行select需要的字段，新产生的字段（来自什么字段的什么处理）
4.进行分组，排序，聚合等操作
5.完成需求