flink sql

数据类型

初始化代码汇总
dataset
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
BatchTableEnvironment tableEnv = BatchTableEnvironment.create(env);
datastream
StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
StreamTableEnvironment tEnv=StreamTableEnvironment.create(env)

flink sql

数据类型

数据初始化汇总 注意事项
DataSet

DataSet<Order> orderA = env.fromCollection(Arrays.asList(
                new Order(1L, "beer", 3),
                new Order(3L, "rubber", 2),
                new Order(1L, "diaper", 4)
               ));

// register Orders table in table environment
        Table Orders = tEnv.fromDataSet(orderA,"user,product,amount");
//        tEnv.registerTable("Orders",tableA);

// specify table program
//    Table orders = tEnv.from("Orders"); // schema (a, b, c, rowtime)

Table counts = Orders
              .groupBy($("user"),$("product"))
                .select($("user"),$("product"),$("amount").sum().as("cnt"));

Flink SQL的table api只支持

only_full_group_by模式[1]

datastream

DataStream<Order> orderA = env.fromCollection(Arrays.asList(
        new Order(1L, "beer", 3),
        new Order(1L, "diaper", 4),
        new Order(3L, "rubber", 2)));

DataStream<Order> orderB = env.fromCollection(Arrays.asList(
        new Order(2L, "pen", 3),
        new Order(2L, "rubber", 3),
        new Order(4L, "beer", 1)));

// convert DataStream to Table
Table tableA = tEnv.fromDataStream(orderA, $("user"), $("product"), $("amount"));
// register DataStream as Table
tEnv.createTemporaryView("OrderB", orderB, $("user"), $("product"), $("amount"));

Reference;

[1]Cannot resolve field [product], input field list:[user, EXPR$0]

flink sql的datastream与dataset初始化代码汇总相关推荐

  1. Flink最锋利的武器:Flink SQL入门和实战 | 附完整实现代码

    作者 | 机智的王知无 转载自大数据技术与架构(ID: import_bigdata) 一.Flink SQL 背景 Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门 ...

  2. Flink入门第十二课:DataStream api/Flink sql实现每隔5分钟统计最近一小时热门商品小案例

    用到的数据文件 用到的数据文件 链接:https://pan.baidu.com/s/1uCk-IF4wWVfUkuuTAKaD0w 提取码:2hmu 1.需求 & 数据 用户行为数据不断写入 ...

  3. Flink 最锋利的武器:Flink SQL 入门和实战带你了解NBA球星数据

    一.Flink SQL 背景 Flink SQL 是 Flink 实时计算为简化计算模型,降低用户使用实时计算门槛而设计的一套符合标准 SQL 语义的开发语言. 自 2015 年开始,阿里巴巴开始调研 ...

  4. Flink 最锋利的武器:Flink SQL 入门和实战

    学习路径:<2021年最新从零到大数据专家学习路径指南> 面      试:<2021年最新版大数据面试题全面开启更新> [注意]:Flink1.9版本后的Flink SQL使 ...

  5. 使用flink Table Sql api来构建批量和流式应用(3)Flink Sql 使用

    从flink的官方文档,我们知道flink的编程模型分为四层,sql层是最高层的api,Table api是中间层,DataStream/DataSet Api 是核心,stateful Stream ...

  6. 腾讯基于 Flink SQL 的功能扩展与深度优化实践

    简介:本文由腾讯高级工程师杜立分享,主要介绍腾讯实时计算平台针对 Flink SQL 所做的优化. 整理:戴季国(Flink 社区志愿者) 校对:苗文婷(Flink 社区志愿者) 摘要:本文由腾讯高级 ...

  7. Flink SQL 的 9 个示例

    作者:贺小令(晓令) 本文由阿里巴巴技术专家贺小令分享,社区志愿者郑仲尼整理.文章基于 Flink 1.9 版本,从用户的角度来讲解 Flink 1.9 版本中 SQL 相关原理及部分功能变更,希望对 ...

  8. Flink SQL 1.11 on Zeppelin 平台化实践

    简介: 鉴于有很多企业都无法配备专门的团队来解决 Flink SQL 平台化的问题,那么到底有没有一个开源的.开箱即用的.功能相对完善的组件呢?答案就是本文的主角--Apache Zeppelin. ...

  9. 【FLink】Flink SQL代码生成与UDF重复调用的优化

    1.概述 转载:Flink SQL代码生成与UDF重复调用的优化 2. 代码生成简介 代码生成(code generation)是当今各种数据库和数据处理引擎广泛采用的物理执行层技术之一.通过代码生成 ...

最新文章

  1. 软件测试培训分享:软件测试的职业发展方向有哪些
  2. pyInstaller 参数简介
  3. HashMap根据value值排序
  4. 微型计算机接口期末,最新大学微机原理与接口技术期末试题及答案
  5. gulp实用配置(1)——demo
  6. pca主成分分析结果解释_主成分分析(PCA)原理精讲 | 统计学专题
  7. jni 从c传递map到java_java_jni 本地调用接口DLL的编写样本,涉及数组传递,相关的 和C程序均已包括。 Develop 256万源代码下载- www.pudn.com...
  8. win11系统卡死怎么办 Windows11系统卡死的解决方法
  9. 【SLAM笔记】如何使用Eigen进行矩阵运算
  10. Myeclipse6.0安装svn插件
  11. selenium之时间日期控件的处理
  12. windows10桌面_Windows10桌面美化之Dock栏指南
  13. 【使用Pytorch实现ResNet网络模型:ResNet50、ResNet101和ResNet152】
  14. 16-20信息安全工程师上午题总结
  15. Python:计算KDJ指标
  16. xcode清理缓存瘦身方法整理
  17. 中山大学计算机学院转专业,广东大一新生想转专业原来有窍门,满足这些成绩和技能很重要!...
  18. 【React】做一个百万答题小项目
  19. 如何对网站关键词进行合理布局?
  20. 基于PaddleOCR银行卡识别实现(二)

热门文章

  1. python-day1
  2. unable to execute dex:GC overhead limit exceeded unable to execute dex:java heap space 解决方案
  3. Codeforces Round #211 (Div. 2)
  4. 使用Jquery 结合后台数据库显示类似QQ图片中心
  5. struts codenips
  6. WeChall_PHP-htmlspecialchars
  7. 鸿蒙系统海外名称,新商标表明华为鸿蒙系统在海外或叫做“Harmony OS”
  8. cad快速看图需要替换的4个vip文件_看不懂施工图怎么办?20年老师傅教你看图技巧,学会受用一生...
  9. 浅谈JQuery中$('.classname').get(0); $('.classname').eq(0); $('.classname')[0]三者的区别
  10. Spring中的后置处理器BeanPostProcessor讲解