基于云服务创建实时运营数据分析服务

实时运营数据分析
  • 使用数据计算服务、流数据总线、流计算产品,可对实时业务数据进行归档和分析,实现秒级响应,对接数据大屏或BI报表产品即刻呈现业务状态。

使用京东云的流数据总线、流计算以及数据大屏,对于其他云平台可做参考。

流数据总线是面向大数据场景下可扩展、分布式、高吞吐量的消息服务,提供低延迟的消息发布及订阅功能,帮助用户快速构建流式数据的分析和应用。

流计算是大数据场景下的实时数据处理与分析平台,支持用户以 SQL 方式编写数据处理作业, 降低流式数据开发门槛,帮助用户快速构建流处理应用。

京东云数据大屏是一款基于实时多层渲染技术的数据可视化工具,它能够提供对海量数据进行实时场景化展示,同时还提供数据分层展示功能,用户可以通过钻取、缩放等交互方式全面的掌握数据。

创建“流计算”应用,进行数据输入和输出,使用作业开发

1.登录“流计算”控制台,进入流计算的“应用管理”页面,创建应用。

2.点击“创建应用”创建应用。选择地域为华北-北京,输入应用名称“lab_rtd01”,其他根据业务需求选择或者为默认。

3.点击确认“lab_rtd01”应用创建完成。

4.在应用列表页,点击已创建的应用名称“lab_rtd01”后,进入到作业开发页面。


5.点击“创建”后进入输入源定义页面。按照要求填写“名称”为“lab_rtdin01”,选择已经创建好的“源类型”、“流式数据”、“主题”。按照需求配置“Batch Interval”。“消息识别模式”这里选择JSON来演示。


6.接下来配置JSON格式的“消息样例”,“字段设置方式”可以选择手动或自动。字段设置的数据类型需要手动选择。“{“province_id”:“1”,“province_name”:“北京”,“province_code”:“110000”,“province_sale”:“10003”}”


7.点击确认完成输入设置,控制台弹出“添加成功”。

8.选择返回作业开发页面,可以查看创建的“lab_rtdin01”。点击左侧“输出”,进入到输出模块。


9.点击“创建”后进入输出位置定义页面。按照要求填写“名称”为“lab_rtdout01”,选择已经创建好的“输出位置”、“数据库”、“数据表”。这里演示选择“忽略异常数据处理,不保存”。

10.点击确认完成输出设置,控制台弹出“保存成功”。


11.在作业开发页面,点击左侧“查询”,进入到查询模块。


12.点击“创建”后进入查询定义页面。填写查询“名称”为“lab_rtdout01”,按照项目需求选择分配资源。


13.点击确认完成查询创建,控制台弹出“操作成功”。


14.完成查询创建后,会跳转作业开发设置界面,也可以手动点击查询名称进入。在开发方式下面写入“insert into table lab_rtdout01 select province_code,province_name,province_sale from lab_rtdin01; ”。

15.点击“保存”作业开发设在后,自动返回查询模块页面。“状态”默认显示已停用。

16.点击“启用”开启作业开发任务,显示正在提交,等待开启。“状态”为启用时,表示成功。


基于云服务创建实时运营数据分析服务(二)相关推荐

  1. 基于云服务创建实时运营数据分析服务(一)

    基于云服务创建实时运营数据分析服务 实时运营数据分析 使用数据计算服务.流数据总线.流计算产品,可对实时业务数据进行归档和分析,实现秒级响应,对接数据大屏或BI报表产品即刻呈现业务状态. 使用京东云的 ...

  2. 基于云服务创建实时运营数据分析服务(三)

    基于云服务创建实时运营数据分析服务 实时运营数据分析 使用数据计算服务.流数据总线.流计算产品,可对实时业务数据进行归档和分析,实现秒级响应,对接数据大屏或BI报表产品即刻呈现业务状态. 使用京东云的 ...

  3. 基于云服务创建离线数据统计分析服务(一)

    基于云服务创建离线数据统计分析服务 离线数据统计分析 使用数据工厂.数据计算服务产品,可对多源数据(DB,FILE)整合分析,制定周期性的调度任务,提供任务监控及预警.数据统计分析等功能,可对接BI报 ...

  4. 基于Flink+ClickHouse构建实时游戏数据分析最佳实践

    简介:本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算.云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务. 直达 ...

  5. 基于数据挖掘的智能停车场运营数据分析系统

    温馨提示:文末有 CSDN 平台官方提供的学长 Wechat / QQ 名片 :) 1. 项目简介 随着大数据分析技术的发展,智慧城市.智慧停车的领域正在发展,智慧停车场可以采集.记录以及存储停车场的 ...

  6. 基于云架构监控摄像头直播运营简介

    基于云架构监控摄像头直播运营简介 监控视频大数据基于云技术设计,在云端转码.解码.云转发.云智能等技术行业领先,通过宽带网的将前端图像远程监控.传输.存储.管理的增值业务.支持第三方模拟监控升级.数字 ...

  7. 三体云–高可用实时音视频服务演进之路

    三体云的前身是一家视频会议提供商,如今致力于为多领域提供实时音视频技术整体解决方案,为开发者提供简单易用.极度稳定.低延时.高保障的直播云服务,这其中的转变在架构升级.系统调度和质量监控三个方面都有不 ...

  8. 基于云开发创建(小程序云商城,基本页面的创建及动态代码的编写)

    CSDN话题挑战赛第2期 参赛话题:万家争鸣的云计算修罗场 在这个专属于"云"的时代,各位云端弄潮儿们,请分享出你的云计算学习历程吧! 你可以从以下几个方面着手(不强制),或者根据 ...

  9. 微信公众号运营数据分析(二):内容分析讲解

    微信公众号运营是需要不断地优化你的公众号文章内容和标题的,也要懂得随时调整公众号写作方向,那么这些都是基于数据分析得出的结果. 你以为统计一下阅读量.新关注人数,取消关注人数.总粉丝人数,然后把一周或 ...

最新文章

  1. 积木赛尔号机器人_赛尔号11年,圣灵谱尼从章鱼变花臂少年,最终成为了老父亲...
  2. Tableau实战系列数据连接及数据准备
  3. TF之NN:利用神经网络系统自动学习散点(二次函数+noise+优化修正)输出结果可视化(matplotlib动态演示)
  4. 《JavaScript高级程序设计》阅读笔记(七):ECMAScript中的语句
  5. proxmoxve打造云桌面_基于PROXMOX VE的家庭NAS搭建方案
  6. 零元学Expression Blend 4 - Chapter 36 来玩捉迷藏吧!!!看看ScrollBar的Disabled与Hidden之差异...
  7. 2-6 基于SpringBoot的SpringSecurity环境快速搭建与验证
  8. 21世纪的设计模式:适配器模式
  9. win10+vscode部署java开发环境
  10. gc.collect()==>python的强制垃圾收集机制(不建议使用强制回收,因为可能导致错误)
  11. npoi 所有列调整为一页_Word节约纸张打印 多页内容一页打印
  12. java上机实验报告_javaweb上机实验报告(学生管理系统)
  13. 常用测试设计方法--其他
  14. CAD文字宽度因子无法修改解决办法
  15. npm EPERM: operation not permitted, rename解决
  16. hdu1429 胜利大逃亡(续)
  17. @Required用法
  18. 【Verilog 设计】Verilog 实现偶数、奇数分频和任意小数分频
  19. 蒲公英内测托管平台进行内测分发教程
  20. etcd http API

热门文章

  1. 除了谷歌,这些互联网公司的办公室设计也十分酷炫
  2. 怎么修改图片到规定的大小?怎么改变图片KB大小?
  3. 如何删除tmp计算机桌面,win10系统下tmp临时文件删除不了像何解决
  4. 数据统计平台设计与实现
  5. 计算机二级word家长回执单得分,全国计算机国家二级office课件_word第一次课.doc...
  6. Linux从入门到跑路
  7. FrameMaker 格式的本地化流程
  8. 字体信息 TEXTMETRIC 字体结构 GLYPHMETRICS
  9. 在html里ff3d3d是什么颜色,HTML颜色参考
  10. Java之坦克大战(二)---坦克图形绘制