Flink在爱奇艺广告业务的实践

关注公众号，了解一线大厂实时数仓最新资讯！

摘要：今天主要分享的内容是 Flink 在爱奇艺广告业务的实践，分享日期：2021年5月22日。内容包括:

业务场景
业务实践
问题解决
未来规划

Tips：点击文末「阅读原文」即可回顾作者原版分享视频～

1. 业务场景

业务场景分为4大类：

数据大屏：包括曝光、点击、收入等核心指标，以及故障率等监控指标
异常检测：用于发现系统投放异常，或业务指标趋势合理性
数据分析：数据赋能业务发展
特征工程：用于广告算法模型训练的特征实时化

2. 业务实践

数仓目标

数据完整性：

实时数据用于决策，需保证可查询数据的完整性
时效性，为最大化挖掘数据价值，需提升实时报表的最新进度
时效性vs完整性，即最新的稳定的数据

服务稳定性：

端到端服务稳定性，包括数据接入、计算（多层）、数据写入、进度服务、查询服务
数据质量：数据的准确性，以及数据趋势合理性

查询能力：

多种使用场景，查询方式和性能要求不一
不止是实时数据，实时+离线
数据跨源
查询性能

数仓挑战

数据进度：时效性vs完整性实时数据用于决策，查询到的数据稳定很关键
服务稳定性：生产服务链路长，端到端的数据服务稳定性
查询性能：OLAP分析，秒级响应
数据表：离线表vs实时表，单表列数上百列

3. 问题解决

4. 未来规划

识别下方二维码，即可关注公众号获取最新大厂技术，记得设为星标哦

历史经典文章：

HDFS 断电恢复文件块案例
HDFS 常用命令
Hadoop 集群部署

Flink在爱奇艺广告业务的实践相关推荐

Flink 在爱奇艺广告业务的实践
简介:5 月 22 日北京站 Flink Meetup 分享的议题. 本文整理自爱奇艺技术经理韩红根在 5 月 22 日北京站 Flink Meetup 分享的议题<Flink 在爱奇艺广告业务 ...
领域驱动设计(DDD)在爱奇艺打赏业务的实践
领域驱动设计(Domain-Driven Design,以下简称DDD)思潮的形成要追述到30几年前,17年前,Eirc Evans定义了领域驱动设计的概念.DDD一直为传统行业的软件工程师提供软件设 ...
领域驱动设计在爱奇艺打赏业务的实践
领域驱动设计(Domain-Driven Design,以下简称DDD)思潮的形成要追述到30几年前,17年前,Eirc Evans定义了领域驱动设计的概念.DDD一直为传统行业的软件工程师提供软件设 ...
基于Apache Flink的爱奇艺实时计算平台建设实践
导读:随着大数据的快速发展,行业大数据服务越来越重要.同时,对大数据实时计算的要求也越来越高.今天会和大家分享下爱奇艺基于Apache Flink的实时计算平台建设实践. 今天的介绍会围绕下面三点展开 ...
【广告架构day1】爱奇艺广告系统的演进之路：实践中的一些经验
本文来自爱奇艺的分享孙立伟.近年来爱奇艺快速发展,优质内容层出不穷,爱奇艺广告也随之发展和壮大,广告在线服务同时服务于品牌.中小.DSP 等不同客户,形成了可以满足不同需求类型的较为完善的商业广告变现 ...
TiDB 在爱奇艺的业务场景及实践
原文来源: https://tidb.net/blog/59aa46a4 作者:朱博帅,爱奇艺资深工程师,TUG Ambassador 今天我主要和大家分享 TiDB 在爱奇艺的一些业务场景和实践,具 ...
爱奇艺SOAR探索与实践
SOAR 全称 Security Orchestration, Automation and Response,即安全编排自动化与响应,最早由Gartner在2015年提出. 安全团队注重威胁检测,往 ...
爱奇艺搜索排序算法实践（内附福利）
7月3日下午,爱奇艺技术产品团队举办了"i技术会"线下技术沙龙,本次技术会的主题是"NLP与搜索".我们邀请到了来自字节跳动.去哪儿和腾讯的技术专家,与爱奇艺技 ...
PWA技术解析及爱奇艺PC端的实践
写在前面文章开始之前,我们先来讲讲PWA,Progressive Web App的缩写,全称直译过来就是渐进式网页应用,也就是一种网页应用,它可以离线使用,可以变成独立应用安装到系统中.它非常的轻量 ...