flink读写hive-代码方式

注意：
flink读写hive有两种方式，
一种是connector方式，
一种是jdbc方式．
jdbc因为性能上的问题，该方式没有尝试的意义．
################################################
[3]中提到了一个常见的观点:hive主要是写入流数据.因为BI报表总是为了展现而服务的.
调研了[6], 得到了[4][5]两套方案
[7] 的博主省略了TamAlert这个类,联系不上,但是猜测应该是一个POJO
[8]提到了官方的例子,看了下比较复杂
[9]吐槽flink读取hive速度很慢
[10]吐槽搞了三天

################################################
网上能用的资料基本上都在上面了,但是要进行该实验之前最好先跑通FLINK SQL Client读取HIVE实验,这样有利于理解基本的HCatalog这个概念.
FLINK SQL Client方式见[17]

代码方式见:
https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK读写各种数据源/Java/src/main/java/Hive_Read.java

目前还有[4][12]没看

Reference:
[1]Hive Read & Write
[2]Flink 1.1.3 Interact with Hive 2.1.0
[3] Flink Table环境下读写Hive数据
[4]deshpandetanmay/mastering-flink(这是一本书，注意系统学习下)
[5]Reading & Writing Hive Tables
[6]Flink 1.1.3 Interact with Hive 2.1.0
[7]项目实战从 0 到 1 学习之Flink （23）Flink 读取hive并写入hive(jdbc方式，不推荐)
[8]Flink 1.9 读写Hive操作
[9]flink 读取hive的数据(jdbc方式，不推荐，性能差)
[10]Flink-1.11.1 读写 Hive 问题(没啥用)
[11]如何在 Flink 1.9 中使用 Hive？(已经掌握)
[12]flink 1.11 使用sql将流式数据写入hive【Demo及说明】(这个要改源码)
[13]Flink1.11读取hive遇到的各种依赖问题(connector方式)
[14]Flink 读取hive，写入hive(jdbc方式，不推荐)
[15]flink_sql_client 1.10 与 hive集成读取实时数据(这个已经掌握)~
[16]Flink1.10集成Hive快速入门(yaml的配置文件不完整，已经阅读)
[17]Flink SQL Client读寫Hive

flink读写hive-代码方式相关推荐

Flink on Hive构建流批一体数仓
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表.这就意味着Flink既可以作为Hive的一个批处理引擎,也可以通过流处理的方式来读写Hive中的表,从而为实时数仓的应用 ...
Flink读写Mysql（Java版）
必须得创建好Mysql表 CREATE TABLE student (name VARCHAR(20),age INT); 读写代码创建实体类 public class Student {priva ...
Flink 与 Hive 的磨合期
有不少读者反馈,参考上篇文章<Hive 终于等来了 Flink>部署 Flink 并集成 Hive 时,出现一些 bug 以及兼容性等问题.虽已等来,却未可用.所以笔者增加了这一篇文章,作 ...
python应用中调用spark_在python中使用pyspark读写Hive数据操作
1.读Hive表数据 pyspark读取hive数据非常简单,因为它有专门的接口来读取,完全不需要像hbase那样,需要做很多配置,pyspark提供的操作hive的接口,使得程序可以直接使用SQL语 ...
SmartNews：基于 Flink 加速 Hive 日表生产的实践
简介: 将 Flink 无缝地集成到以 Airflow 和 Hive 为主的批处理系统的技术挑战和应对方案. 本文介绍了 SmartNews 利用 Flink 加速 Hive 日表的生产,将 Flin ...
Flink读写系列之-读HBase并写入HBase
这里读HBase提供两种方式,一种是继承RichSourceFunction,重写父类方法,一种是实现OutputFormat接口,具体代码如下: 方式一:继承RichSourceFunction p ...
软件I2C读写MPU6050代码
1.硬件电路 SCL引到了STM32的PB10号引脚,SDA引到了PB11号引脚软件I2C协议: 用普通GPIO口,手动反转电平实现协议,不需要STM32内部的外设资源支持,故端口是可以任意指定 M ...
spark sql读写hive的过程
Spark sql读写hive需要hive相关的配置,所以一般将hive-site.xml文件放到spark的conf目录下.代码调用都是简单的,关键是源码分析过程,spark是如何与hive交互的. ...
java.io几种读写文件的方式
一.Java把这些不同来源和目标的数据都统一抽象为数据流. Java语言的输入输出功能是十分强大而灵活的. 在Java类库中,IO部分的内容是很庞大的,因为它涉及的领域很广泛:标准输入输出,文件的操作 ...

flink读写hive-代码方式

flink读写hive-代码方式相关推荐

最新文章

热门文章