克拉克拉(KilaKila)是国内专注二次元、主打年轻用户的娱乐互动内容社区软件。KilaKila 推出互动语音直播、短视频配音、对话小说等功能,满足当下年轻用户个性化、碎片化的文娱需求。随着业务规模增长,海量数据存储与计算的瓶颈也日益突出,由于单台服务器的处理能力有限,海量数据的分析需要分布式计算模型。分布式的计算模型对数据分析人员要求较高且不易维护:数据分析人员不仅需要了解业务需求,同时还需要熟悉底层分布式计算模型。MaxCompute提供完善的数据导入方案以及多种经典的分布式计算模型,可快速解决克拉克拉所面临的海量数据的计算问题,有效降低企业成本并保障数据安全。对于使用方的我们不必关心分布式计算和维护细节便可轻松完成大数据分析,最终我们采用阿里云MaxCompute方案进行数据上云。

一、数据上云

克拉克拉(KilaKila)数据源主要分为两部分:1.结构化业务数据表(MySQL);2.非结构化用户行为日志

 结构化业务库上云主要使用阿里云datax、DTS两种工具。

▲图一:datax数据同步

datax原理是将MySQL数据完全透明化同步至MaxCompute数据表中,是表对表的映射。

▲图二:DTS数据同步

DTS主要以MySQL binlog方式来进行数据同步,该同步的优势在于不会影响线上生产环境MySQL库I/O压力,与此同时对于删除操作也会进行实时同步。

 用户行为日志上云,该日志主要使用阿里云日志服务(Log Service)组件。该组件除了满足将海量日志存储在MaxCompute数据仓库中外,也解决了实时业务计算需求,如storm集群。

▲图三:Log Service工作流

▲图四:日志服务各Topic日志源

▲图五:克拉克拉用户行为日志片段

二、数据计算
为满足各类批处理计算业务需求,基于MaxCompute建立了小时维度、天维度、月维度等不同维度的工作流以及业务流程。在数据开发阶段我们使用MaxCompute的Web datawork进行任务开发、任务运维、任务监控等。

▲图六:datawork SQL开发
在datawork中可以创建SQL脚本,通过编写SQL语言满足我们的临时查询需求。


▲图六:datawork工作流

在datawork中可以根据业务场景配置工作流,解决生产环节中所面临的定时计算任务等诉求。

图七:datawork运维中心
运维中心可实时监控任务的状态,对应不同的任务状态进行不同情况的报警;
综上所诉,得益于datawork强大的数据开发多样性和丰富的内置函数,我们可以针对不同业务场景进行快速的项目开发和上线。
**
三、克拉克拉业务应用场景**

克拉克拉(KilaKila)在实际生产环境中,主要有以下四个数据业务应用场景。如下:

1. 报表系统

▲图八:克拉克拉BI报表系统架构

基于MaxCompute与quickBI组合快速构建了业务报表系统。该系统通过datawork部署系列报表计算任务,最终的计算结果可存储MaxCompute表中以及MySQL表中。quickBI通过数据源关联即可实现前端趋势图灵活展示。

图八:克拉克拉BI报表系统

2. 克拉克拉(KilaKila)榜单业务

图九:克拉克拉榜单业务计算场景

通过MaxCompute满足了克拉克拉主播排行榜、热门榜单等排序业务。

3. 对外开放接口平台(Restful API )
为了满足第三方通过API接口获取克拉克拉数据仓库中的用户标签数据,基于MaxCompute Lightning架构搭建开放接口服务,通过该服务的网关鉴权机制保证了授权访问和防DDOS攻击。

图九:克拉克拉开放接口结构

4.算法业务
阿里云机器学习平台是构建在阿里云MaxCompute(原ODPS)计算平台之上,集数据处理、建模、离线预测、在线预测为一体的机器学习平台。克拉克拉(KilaKila)预测算法业务、推荐业务等相关项目均建立在机器学习平台基础上,项目上线快且效果符合预期。

▲图九:克拉克拉短视频推荐业务

图十:克拉克拉渠道ROI预测业务
通过阿里云所提供大数据解决方案,除了解决了克拉克拉所遇到的大数据挑战,也极大的缩短了克拉克拉(Kilakila)诸多数据项目从想法到落地的研发周期。

更多内容:

1.《克拉克拉:基于阿里云PAI实现渠道ROI投放预测系统》

2.《克拉克拉(KilaKila):借力阿里云快速构建短视频推荐系统》

3.《克拉克拉(KilaKila):大规模实时计算平台架构实战》

原文链接
本文为云栖社区原创内容,未经允许不得转载。

发光的二次元克拉克拉 满足年轻用户个性化、碎片化的文娱需求相关推荐

  1. 克拉克拉(KilaKila):大规模实时计算平台架构实战

    克拉克拉(KilaKila):大规模实时计算平台架构实战 一.产品背景: 克拉克拉(KilaKila)是国内专注二次元.主打年轻用户的娱乐互动内容社区软件.KilaKila推出互动语音直播.短视频配音 ...

  2. 克拉克拉(KilaKila):大规模实时计算平台架构实战 1

    克拉克拉(KilaKila):大规模实时计算平台架构实战 作者:阿里云MVP田亮 一.产品背景: 克拉克拉(KilaKila)是国内专注二次元.主打年轻用户的娱乐互动内容社区软件.KilaKila推出 ...

  3. 发光的二次元——克拉克拉上云实践

    克拉克拉(KilaKila)是国内专注二次元.主打年轻用户的娱乐互动内容社区软件.KilaKila 推出互动语音直播.短视频配音.对话小说等功能,满足当下年轻用户个性化.碎片化的文娱需求.随着业务规模 ...

  4. 互联网公司应该如何抓住年轻用户?

    随着90后.00后用户逐渐走上舞台,「年轻化」这个词开始频繁的出现在我们眼前.年轻用户有着完全不同的物质和精神消费习惯,并且更加崇尚个性化.追求创造力,他们有着完全不同于80后用户的时代特征. 「越来 ...

  5. 【克拉克拉】产品分析报告

    [克拉克拉]产品分析报告 一. 产品基本信息 产品名称 克拉克拉 产品版本 IOS V5.2.2 体验环境 IOS 10.3.2 体验时间 2019.7.26 体验者 以神遇不以目视 二.市场背景 1 ...

  6. 声优直播互动平台克拉克拉获1.2亿元融资,将布局虚拟偶像互动

    10月24日消息,声优直播互动平台--"克拉克拉(KilaKila,原"红豆Live")昨日在两周年-虚拟偶像战略发布会上宣布,已获得来自新浪微博.沸点资本.青雨资本.中 ...

  7. 网络营销之下的泡泡玛特盲盒广受年轻用户群体的喜爱与关注

    近几年,泡泡玛特逐步走进年轻用户视野,一步步扩增用户,不少用户通过抽盲盒衍生制作手机壳.iPad壳等等,让盲盒玩偶增加附加值,逐步转向破圈道路,加快了泡泡玛特上市的步伐.在盲盒圈中无论是圈内还是圈外的 ...

  8. 花呗下调部分年轻用户额度,倡导理性消费,网友:是嫌我穷了吗?

    最近,有不少网友在社交平台上反馈,自己的花呗额度被降低了,普遍被降到了2000元或3000元以下.这些被调额的网友大多是年轻网友,还有网友表示,由此前2.5万元的额度也被降至3000元. 据财联社报道 ...

  9. 荣耀折叠屏手机发布日期曝光?将主打年轻用户

    [TechWeb]在今年MWC2019上,国内外手机厂商纷纷推出了自己的折叠屏手机.三星.华为.OPPO等厂商均展现了自家的折叠屏新设备.作为国内知名手机厂商,荣耀在此次MWC2019上"按 ...

最新文章

  1. preact源码学习(2)
  2. fish shell 简要教程以及对bash的兼容性讨论。
  3. 从一个小故事聊聊字符编码那些事
  4. numpy---one
  5. 无线ap软件_无线WIFI网络干扰优化,不懂必看!新手在家里也能用的网络知识
  6. acm之vim的基本配置
  7. python 最小二乘回归 高斯核_从简单数学建模开始:08最小二乘准则的应用(附python代码)...
  8. 使用C#+Edge (Chromium)进行Web自动化测试
  9. kotlin和python哪个好_对比 Go 语言,Kotlin 有什么优势和劣势?
  10. 湄洲湾职业技术学院宿舍计算机,湄洲湾职业技术学院宿舍条件怎么样—宿舍图片内景...
  11. Visual studio 2022 常用快捷键
  12. 公众号七种有效的引流方式
  13. 微型计算机显示器的标准接口,HJ/T 313-2006 环境标志产品技术要求 微型计算机、显示器...
  14. 计算机一直响内存硬盘都不见了,常见电脑内存故障现象与处理方法!
  15. Scikit-learn实战之最近邻算法
  16. 函数最值题目及答案_有关函数的极值与导数的测试题及答案
  17. STM32+ESP8266+MQTT微信小程序SoftAP一键配网接入腾讯物联网平台
  18. 嵌入式系统开发这六点硬件设计需要细心留意
  19. MyEclipse下使用xdoclet自动生成hdm文件
  20. “事件营销”不等于“活动营销”

热门文章

  1. python中math模块函数_Python常用的一些内建函数和math模块函数
  2. Java构造方法以及重载
  3. mysql执行计划查看_查看Mysql执行计划
  4. python列表的表示形式_python 列表推导式
  5. python教材答案第六章_python第六章{输入和输出}
  6. 为啥我的页面模板的from提交不了数据_4-9【微信小程序全栈开发课程】意见反馈(四)--提交反馈信息
  7. autohotkey实例+懒人包_懒人福音——GitHub 热点速览 Vol.42
  8. 联想340c笔记本cpu能升级吗_联想扬天威6 2021款酷睿版怎么样?评测值得买吗?从价格和配置看就知道了...
  9. php强制cookies,php Cookies操作类(附源码)
  10. pythonsearch结果_python 查询Elasticsearch的小例子