Flink SQL Client讀取csv中的數據(轉載+總結)

根據官方文檔[2]

Flink SQL啓動方式 啓動命令

（1）starting an embedded standalone process

$FLINK_HOME/bin/sql-client.sh embedded

（2）connecting to a remote SQL Client Gateway

官方暫時不支持

"At the moment only the embedded mode is supported"

默認配置文件是:

$FLINK_HOME/conf/sql-client-defaults.yaml

[3]中提到了所謂的 "environment file"的概念其實就是yaml文件

--------------------------------------------------------------------下面是實驗-------------------------------------------------------------------------------------------------------------------------

準備工作:

①~/桌面/book-store.csv

②$FLINK_HOME/conf/book-store.yaml

文件每行解釋:

book-store.yaml的每行	解釋
tables.type	等于source-table，表明这是数据源的配置信息
tables.connector	描述了详细的数据源信息，path是book-store.csv文件的完整路径
tables.format	描述了文件内容；
tables.schema	描述了数据源表的表结构；
type	为view表示MyBookView是个视图(参考数据库的视图概念)；

啓動命令:
$FLINK_HOME/bin/sql-client.sh embedded -d $FLINK_HOME/conf/book-store.yaml

执行命令:

命令	功能
SELECT * FROM BookStore;	查詢全表
SELECT BookCatalog, COUNT(*) AS BookCount FROM BookStore GROUP BY BookCatalog;	按照BookCatalog分组统计记录数
select * from MyBookView;	select * from MyBookView

https://github.com/ververica/flink-sql-gateway

运行结果示范:

----------------------------------------------------------------------------------------------------------------------------------------------------------------

CLI支持三种可视化查询结果的模式[5]，可在命令行中进行设置，三种模式的区别和使用参考官网

運行模式	FLINK SQL設置命令
table mode	SET execution.result-mode=table;
changelog mode	SET execution.result-mode=changelog;
tableau mode	SET execution.result-mode=tableau;

上述执行的select查询结果，会缓存到java heap中。具體示範如下:

----------------------------------------------------------------------------------------------------------------------------------------------------------------

啓動時總是會出現的No session environment specified

咋回事呢?

根據我查詢了資料[4]

To configure the SQL Client for the session mode, you need to create an environment YAML file (sql-env.yaml), and add the following configuration:

configuration:execution.target: yarn-session

This overrides the Flink configuration of the execution target to yarn-session mode.

Reference:

[1]Flink SQL Client初探

[2]SQL Client

[3]https://github.com/ververica/flink-sql-gateway

[4]Configuring SQL Client for session mode

[5]Flink v1.11.1 官网Flink SQL Client 的使用

Flink SQL Client讀取csv中的數據(轉載+總結)相关推荐

flink sql client讀取kafka數據的timestamp(DDL方式)
实验目的 Kafka的数据能让Flink SQL Client读取到本文是对[1]的详细记载具体操作步骤 ①啓動hadoop集羣,離開安全模式 ②各个节点都关闭防火墙: service firew ...
Flink SQL Client注册SCALA UDF完整流程
UDF的完整maven工程與SQL https://github.com/appleyuchi/Flink_SQL_Client_UDF 完整操作步骤 ①mvn scala:compile packa ...
Flink SQL Client注册JAVA UDF完整流程
概述听大佬说[1]里面有flink sql client注册udf的方法去看了一眼,全是文字,闹心,索性琢磨了一下,记录下来． UDF的完整maven工程 https://github.com/a ...
Flink SQL Client实现CDC实验
概述本文主要是對[7]中內容的復現环境组件版本 Flink(HA) 1.12 Zookeeper 3.6.0 flink-sql-connector-mysql-cdc 1.1.1 Mysql ...
Flink SQL Client CLI 使用入门
参照:https://blog.csdn.net/boling_cavalry/article/details/105964425 一.SQL Client Flink 的 Table & S ...
Flink SQL Client方言切换与datagen-＞Hive(DDL形式+streaming形式)
概述本文是对[1]的完整复现,补充了[1]中缺失的大量细节. 切换方言切换目标 Flink SQL Client命令切换为hive SET table.sql-dialect=hive; 切换为 ...
Flink SQL Client进行Kafka事实表与Hbase维度表Join(纯DDL/SQL方式)
概述: 對參考鏈接[1]進行DDL上的復現. 一些基本的業務常识來源載體數據特點維表 Mysql/Csv/Hbase 很少變化事實表 Kafka 不停變化开发环境与准备工作组件版本 ...
Flink SQL Client读Kafka+流计算(DDL方式+代碼嵌入DDL/SQL方式)
#################################################################################################### ...
flink sql client读取hive时卡住
问题复现如下: 查看$FLINK_HOME/log/flink-appleyuchi-sql-client-Desktop.log 2020-12-23 11:48:56,811 INFO org. ...

Flink SQL Client讀取csv中的數據(轉載+總結)

Flink SQL Client讀取csv中的數據(轉載+總結)相关推荐

最新文章

热门文章