Flink从入门到精通100篇（二十一）-Flink 状态(State)管理在推荐场景中的应用

前言

Flink作为纯流式大数据实时计算引擎，较于Spark Streaming的微批处理引擎，不管是内存管理，多流合并，还是时间窗口，迭代处理上，Flink在实时计算场景更较适合。而Flink的State状态管理，更是让Flink在实时计算领域，更胜一筹。通过对Flink State状态的灵活妙用，可以完美实现大数据下的实时数仓，实时画像和实时数据监控等功能。

场景

最近在做推荐数据平台，其中有一个场景需求是要实时统计最近1分钟的UV、点击量、真实曝光量和下发量等热点数据，并可以在不同地域维度下做多维度查询。通过对数据的实时跟踪监控，可以精准迅速地获悉推荐算法在不同地域投放后所产生的流量变化，从而优化对不同地域下用户的精准推荐。

问题&选型

我们在做场景分析的时候，发现有两个问题需要解决。

首先是我们的数据来自于用户对App的操作行为日志，在这些埋点数据里，有个字段localId（13位数字组成），该字段记录了该用户所在的位置编号，可以精

Flink从入门到精通100篇（二十一）-Flink 状态(State)管理在推荐场景中的应用相关推荐

【推荐实践】Flink 状态(State)管理在推荐场景中的应用
导语 Flink 提供了灵活丰富的状态管理,可轻松解决数据之间的关联性.本文介绍了Flink 状态(State)管理在推荐场景中的应用,大家结合自己的应用场景与业务逻辑,选择合适的状态管理. 背景 F ...
Flink从入门到精通100篇（十一）-Java SPI 机制在 Flink SQL 中的应用
Java SPI 机制简介 Java SPI机制,即Java Service Provider Interface,是Java提供的基于"接口编程 + 策略模式 + 配置文件"组合 ...
Flink从入门到精通100篇（二十一）-万字长文详解 Flink 中的 CopyOnWriteStateTable
前言现如今想阅读 HashMap 源码实际上比较简单,因为网上一大堆博客去分析 HashMap 和 ConcurrentHashMap.本文详细分析 CopyOnWriteStateTable 源码 ...
Flink从入门到精通100篇（二十二）- Flink应用实战案例：如何实现网络流控与反压机制
目录 Flink 流处理为什么需要网络流控? Flink V1.5 版之前网络流控介绍 Flink V1.5 版之前的反压策略存在的问题 Credit的反压策略实现原理,Credit是如何解决 Fli ...
Flink从入门到精通100篇（二十三）-Apache Flink在滴滴的应用与实践
前言 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态计算.可部署在各种集群环境,对各种大小的数据规模进行快速计算. 滴滴基于 Apache Flink 做了 ...
Flink从入门到精通100篇（二十三）-基于Apache Flink的爱奇艺实时计算平台建设实践
前言随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...
Flink从入门到精通100篇（十八）-CentOS环境中搭建Flink分布式集群
一. Flink的下载安装包下载地址:http://flink.apache.org/downloads.html ,选择对应Hadoop的Flink版本下载 [admin@node21 soft ...
Flink从入门到精通100篇（七）-如何基于 Flink 搭建一个实用有效的在线实时反欺诈平台？
前言在大数据时代,金融科技公司通常借助消费数据来综合评估用户的信用和还款能力.这个过程中,某些中介机构会搜集大量的号并进行"养号"工作,即在一年周期里让这些号形成正常的消费.通讯 ...
Flink从入门到精通100篇（十九）-基于 Flink 的大规模准实时数据分析平台的建设实践
前言如何基于 Flink 搭建大规模准实时数据分析平台?在 Flink Forward Asia 2019 上,来自 Lyft 公司实时数据平台的徐赢博士和计算数据平台的高立博士分享了 Lyft 基 ...

Flink从入门到精通100篇（二十一）-Flink 状态(State)管理在推荐场景中的应用

前言

场景

问题&选型

Flink从入门到精通100篇（二十一）-Flink 状态(State)管理在推荐场景中的应用相关推荐

最新文章

热门文章