前言

最近项目需要用Scala读取Hive的Table，但是Spark和Hive的API比较重量级，性能不够。于是调研，发现了一个更加底层的框架Eel：

示例

为了便于理解，先从读取简单的CSV开始

Local

CSV File

我自己新建了一个CSV文件

school_number,student_name
1,Bernoulli
2,Newton
3,Leibniz

sbt导入依赖libraryDependencies += "io.eels" % "eel-core_2.12" % "1.2.4"后，读取的代码

import io.eels.{DataTypeRule, SchemaInferrer}
import io.eels.component.csv.CsvSource
import io.eels.schema.{IntType, StringType}import java.nio.file.Pathsobject CsvReaderDemo {def main(args: Array[String]): Unit = {val csvFilePath = Paths.get("./datas/students.csv")// 打印Schema，默认都是Stirng类型CsvSource(csvFilePath).toDataStream().schema.fields.foreach(f => println(f))// 手动指定字段和类型之间的映射val filedTypeMapping = Seq(DataTypeRule("school_number", IntType.Signed),DataTypeRule("student_name", StringType))val schemaInferrer = SchemaInferrer(StringType, // 默认类型filedTypeMapping)// 打印数据CsvSource(csvFilePath).withSchemaInferrer(schemaInferrer).toDataStream().filter(_.values(0).toString.toInt > 0) // 根据索引.filter(_.get("student_name").equals("Leibniz")) // 根据字段名判断//      .filter("student_name", _ == "Leibniz") // 也可以写成这样.collect.foreach(row => println(row))}
}

打印的结果如下

Hive

需要创建HMS的客户端

val hiveConf = new HiveConf()
hiveConf.set(ConfVars.METASTOREURIS.varname, "thrift://localhost:9083")
implicit val hiveMetaStoreClient = new HiveMetaStoreClient(hiveConf)

Parquet

准备数据

-- 建表
CREATE EXTERNAL TABLE IF NOT EXISTS `eel_test.person` (`NAME` string,`AGE` int,`SALARY` decimal(38,5),`CREATION_TIME` timestamp)
PARTITIONED BY (`title` string)
ROW FORMAT SERDE'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe'
STORED AS INPUTFORMAT'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat'
OUTPUTFORMAT'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat'
LOCATION '/client/eel_test/persons';-- 插入数据
INSERT INTO eel_test.person PARTITION (title='Mr') SELECT 'Fred', 50, 50000.99, CURRENT_TIMESTAMP();
INSERT INTO eel_test.person PARTITION (title='Mr') SELECT 'Gary', 50, 20000.34, CURRENT_TIMESTAMP();
INSERT INTO eel_test.person PARTITION (title='Mr') SELECT 'Alice', 50, 99999.98, CURRENT_TIMESTAMP()

读取数据的代码

HiveSource("eel_test", "eel_test").toDataStream().collect.foreach(row => println(row))

ORC

准备数据

-- 建表
CREATE EXTERNAL TABLE IF NOT EXISTS eel_test.test_orc(id int,name string
)
PARTITIONED BY (create_date string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ','
STORED AS ORC
LOCATION '/client/eel_test/test_orc'-- 插入数据
INSERT INTO eel_test.test_orc PARTITION(create_date='20210101')
SELECT  1, 'Alice'
UNION
SELECT 2, 'Fred'
UNION
SELECT 3, 'Gary';

读取数据的代码

HiveSource("eel_test", "eel_test").toDataStream().collect.foreach(row => println(row))

后记

Eel还能直接读取HDFS，更多例子可以参考github

Eel初次使用示例(使用Scala读取Hive表)相关推荐

spark用scala读取hive表数据（不同版本区别）
spark用scala读取hive表数据 spark1.6写法: val conf = new SparkConf() val sc = new SparkContext(conf) ...
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子
[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子 $ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive ...
spark读取hive表异常，处理WARN HiveExternalCatalog: The table schema given by Hive metastore
文章目录 1 问题概述 1.1 数据库表状况 1.2 问题背景 2 报错场景 2.1 修改Hive元数据信息 2.2 报错信息 2.3 其他现象 2.4 查看表结构时的发现 2.5 报错分析 2.6 ...
scala学习-scala读取Hbase表中数据并且做join连接查询
1.业务需求:sparkSQL on hbase ,sparkSQL直接读取Hbase中的两个表,进行连接查询. 2.图示绿色的线上图中绿色的线是做过测试的,直接在hive中建表,然后load数据 ...
pyspark —— spark dataframe 从hdfs读写文件：按照指定文件格式读写文件（读写csv、json、text文件，读取hive表，读取MySQL表）、按照指定分隔符读写文件
spark有3种数据结构--RDD.DataFrame.DataSet.这里展示的文件读写方式,都是针对dataFrame数据结构的,也就是文件读进来之后,是一个spark dataFrame. 0. ...
spark数据查询语句select_sparksql读取hive表中数据
文章目录 spark sql与hive本地调试 new HiveContext空指针异常权限: 异常执行select查询的时候找不到host spark sql与hive本地调试将hive-si ...
spark sql读取hive底层_scala – 从一个hive表中读取并使用spark sql写回来
我正在使用Spark SQL读取Hive表并将其分配给 scala val val x = sqlContext.sql("select * from some_table") 然 ...
【原创】大叔经验分享（65）spark读取不到hive表
spark 2.4.3 spark读取hive表,步骤: 1)hive-site.xml hive-site.xml放到$SPARK_HOME/conf下 2)enableHiveSupport Sp ...
Spark读取Hive数据的两种方式与保存数据到HDFS
Spark读取Hive数据的两种方式与保存数据到HDFS Spark读取Hive数据的方式主要有两种 1. 通过访问hive metastore的方式,这种方式通过访问hive的metastore元数 ...

Eel初次使用示例(使用Scala读取Hive表)

文章目录

前言

示例

Local

CSV File

Hive

Parquet

ORC

后记

Eel初次使用示例(使用Scala读取Hive表)相关推荐

最新文章

热门文章