基于Flink+ClickHouse构建实时游戏数据分析最佳实践
简介:本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。
直达最佳实践:【基于Flink+ClickHouse构建实时游戏数据分析最佳实践 】
最佳实践频道:【最佳实践频道】
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!
场景描述
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。
方案优势
- 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。
- 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。
- 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。
- 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。
产品列表
- 专有网络VPC
- 弹性公网IP EIP
- 云服务器ECS
- 消息队列Kafka版
- 云数据库ClickHouse
- 实时计算Flink版
- Quick BI数据可视化分析平台
业务架构
直达最佳实践 》》
原文链接:https://developer.aliyun.com/article/781585?
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
基于Flink+ClickHouse构建实时游戏数据分析最佳实践相关推荐
- 趣头条基于 Flink+ClickHouse 构建实时数据分析平台
摘要:本文由趣头条数据平台负责人王金海分享,主要介绍趣头条 Flink-to-Hive 小时级场景和 Flink-to-ClickHouse 秒级场景,内容分为以下四部分: 一.业务场景与现状分析 二 ...
- 【干货】趣头条基于 Flink+ClickHouse 构建实时数据分析平台
精选30+云产品,助力企业轻松上云!>>> 本文分享自微信公众号 - 大数据每日哔哔(bb-bigdata). 如有侵权,请联系 support@oschina.cn 删除. 本文参 ...
- clickhouse 航空数据_趣头条基于Flink+ClickHouse的实时数据分析平台
原标题:趣头条基于Flink+ClickHouse的实时数据分析平台 分享嘉宾:王金海 趣头条 编辑整理:王彦 内容来源:Flink Forward Asia 出品平台:DataFunTalk 导读: ...
- 趣头条基于Flink+ClickHouse的实时数据分析平台
导读:趣头条一直致力于使用大数据分析指导业务发展.目前在实时化领域主要使用 Flink+ClickHouse 解决方案,覆盖场景包括实时数据报表.Adhoc 即时查询.事件分析.漏斗分析.留存分析等精 ...
- 华为云MRS基于Hudi和HetuEngine构建实时数据湖最佳实践
数据湖与实时数据湖是什么? 各个行业企业都在构建企业级数据湖,将企业内多种格式数据源汇聚的大数据平台,通过严格的数据权限和资源管控,将数据和算力开放给各种使用者.一份数据支持多种分析,是数据湖最大的特 ...
- 基于flink+clickhouse构建亿级电商全端用户画像平台训练营
每个人都应该有一套自己的学习方法,但是在实际的生活中很多人都没有找到,但是无关紧要,一开始我们可以先参照别人的,在以后可以慢慢的养成一套属于自己的学下方法,下面就来分享一篇培训班学员的学习方法,给大家 ...
- 基于Flink+Alink构建全端亿级实时用户画像系统
用户画像,作为一种勾画目标用户.联系用户诉求与设计方向的有效工具,用户画像在各领域得到了广泛的应用. 用户画像最初是在电商领域得到应用的,在大数据时代背景下,用户信息充斥在网络中,将用户的每个具体信息 ...
- 基于Flink+Alink构建电商全端智能AI个性化实时推荐系统
如今随着互联网发展,数据量不断增大,大数据已经成为各个互联网公司的重点方向,而推荐系统成为互联网必不可少的配置,一个好的推荐系统,能为企业带来了可观的用户流量和销售额,特别对于电商系统,好的推荐系统可 ...
- Demo:基于 Flink SQL 构建流式应用
摘要:上周四在 Flink 中文社区钉钉群中直播分享了<Demo:基于 Flink SQL 构建流式应用>,直播内容偏向实战演示.这篇文章是对直播内容的一个总结,并且改善了部分内容,比如除 ...
最新文章
- 又一道软通动力7K月薪面试题——银行业务调度系统
- C#经典名著:《C#入门经典》(第4版)
- python元编程_python元编程详解(3)
- idea下拉项目_推荐几款非常好用的IDEA插件(香)
- JavaScript 秘密花园[转]
- mysql如何安装 centos7_如何解决centos7上mysql安装及问题
- H5中 时间格式NAN-NAN-NAN
- 火灾原来离我们那么近
- MySQL 索引最左匹配原则的理解
- web测试之性能测试
- 地图比例尺与空间分辨率之间的关系_卫星遥感制图最佳影像空间分辨率与地图比例尺关系探讨.doc...
- 获取计算机关机时间,查询电脑开关机时间的vbs代码
- 软件开发人员如何提高个人和团队工作效率
- APC不间断电源说明书
- Linux下使用 ./ 来运行可执行文件
- Qt下MQTT模块的导入(源码直接导入)适用Windows和Linux系统
- [UNR #6]稳健型选手
- 【计算机视觉】边缘检测
- chrome浏览器内存_如何在Google Chrome浏览器中清除内存
- 大数据学习笔记(二)hadoop
热门文章
- 计算机网络-思维导图(1)概述
- 3种Python数据结构,13种创建方法,这个总结,超赞!
- 【Python面试】 说说Python中xrange和range的区别?
- 深度学习框架对决篇:Keras VS PyTorch
- 数据恢复错误卡住 linux,如何处理ORA-00376错误的恢复问题
- linux内核中用来对共享资源进行隔离,简单理解Docker
- docker安装elasticsearch_Docker 安装 ElasticSearch
- 12新特性格式化输出f-string
- pdm生成mysql sql语句_如何用Powerdesigner的PDM生成数据库
- bootstrap学习(三)表单