大数据应用之双色球算奖平台总体设计大纲篇一
大数据应用之双色球算奖平台总体设计大纲篇一
作者:张子良
版权所有,转载请注明出处
引子:双色球延期开奖,你Hold住了吗
福利彩票走进百姓生活,每期的500w大奖吸引了千万彩民的眼球和关注,备受争议的双色球延期开奖也成了争议的焦点,成为继12306之后,又一个站在风口浪尖的悲催儿。黑幕说,红会说,各种说甚嚣尘上。IT人只做技术事,至于类似美美卡里究竟几个零,一套内衣值几多银子的问题,还是交给干爹们去撕扯吧。当然福彩中心是不是红会,还是交给时间来证明吧。
一 概述
本文作者试图从纯技术的角度解决双色球延迟开奖的问题,不考虑其他因素,用最新的云计算技术建立一套海量数据处理的技术解决方案。同时考虑到把这种想法付诸实践,搞一个开源海量数据处理平台,以双色球算奖问题,作为一个业务应用案例,指引我们前进的方向。本文是这一解决方案的第一篇,目的在于把整个平台当前面临的技术问题和未来发展方向做一个纲领性的界定,考虑到一个人的能力毕竟是有限的,群众的力量是无穷,本文仅定位于抛砖引玉,希望能够得到各位技术同行的支持和关注,让大家一起来共同完成整个解决方案的设计。开源社区的兄弟们,顶一个吧。
二 纲要
- 数据规模评估篇
根据双色球历史销量数据,评估存储双色球历史购彩数据所需要的数据规模,按照全部存储、一年期存储、单期存储规模进行估算。 - 历史数据存储篇
根据双色球历史投注数据(每一注的选号明细),按照存储时间的长短,评估存储双色球历史投注明细数据所需要的存储容量。根据其业务特点和存储容量,探讨实际采用的存储方案,是文件存储,还是数据库存储,亦或者是其他的存储方案。针对当前期算奖需要,评估存储该规模下的,该类型的数据所需要的内存空间或硬盘空间。 - 实时数据算奖篇
面对2~3亿注的数据量级,7个数据项,6个中奖级别的设置,我们需要采用什么样的存储方式,存储待算奖期次的投注明细;我们需要采用什么样的算法,算法的时间复杂度和空间复杂度如何?计算一期中奖数据需要的时间和空间是多少?给出分省中奖统计数据的时间又是多少? - 开奖算奖算法篇
因为数据量级的问题,每一期的投注规模在2~3亿注之间,这样一个计算规模的数据量级,加上奖项级别的设置,算法的时间复杂度要求还是很高的。在这一篇需要针对当前的数据规模,给出一个优化的算法,并能够给出按照该算法进行,特定的硬件配置环境下,需要的计算时间和计算频次。以及相关算法的设计原理和规则。 - 数据分析BI篇
关于历史投注明细数据的应用,商业价值的提炼和数据分析,目前还没有明确的概念,期望参与的园友能够给出答案。其一,数据可以用来做什么?其二 数据应该怎么来用?其三 这些应用将会带来什么样的商业价值。
以上内容仅为作者一人之浅见,算是从业务划分的角度,将要解决的问题,进行了一次分类。遗漏部分,需要各位园子里的兄弟指正完善,谢谢各位了。至于每一部分的内容结构暂时还没有具体的东西出来,待完善总体大纲后,再单独征询各位的意见和建议。
三 招募
考虑到解决方案的设计和开源平台的开发,特征集对本项目感兴趣并在并行计算和大数据处理方向有独到见解的同仁参与进来。让大家为大数据的应用技术共同努力,在实践中进步,在进步中成熟。建了一个技术交流QQ群,群号:307807112
彩票算奖只是一个引子,真正要做的是海量数据的计算和分析,欢迎拍砖,感兴趣的话,请给个推荐,并畅所欲言。
大数据应用之双色球算奖平台总体设计大纲篇一相关推荐
- 大数据应用之双色球算奖平台总体设计数据规模估算篇 - 张子良
原帖地址:http://www.cnblogs.com/hadoopdev/p/3154986.html 大数据应用之双色球算奖平台总体设计数据规模估算篇 作者:张子良 版权所有,转载请注明出处 引子 ...
- 大数据上云存算分离演进思考与实践
作者:汤祯捷 阿里云智能计算平台团队 存算分离.数据湖.在离线混部,这些名词越来越多的出现在各行各业数字化转型的关键活动中.本文仅从大数据产品商业化从业者的视角来探讨与分析大数据领域的存算分离演进过程 ...
- 【2015年第4期】基于大数据技术的P2P网贷平台风险预警模型
基于大数据技术的P2P网贷平台风险预警模型 林春雨1,李崇纲1,许方圆2,许会泉1,石 磊1,卢祥虎1 (1. 北京金信网银金融信息服务有限公司 北京 100101:2. 国网能源研究院 北京 100 ...
- 某银行信用卡中心——大数据反欺诈应用案例 2017-06-23 10:54 本篇案例为数据猿推出的大型“金融大数据主题策划”活动(查看详情)第一部分的系列案例/征文;感谢 百融金服 的投递 作为整体
某银行信用卡中心--大数据反欺诈应用案例 2017-06-23 10:54 本篇案例为数据猿推出的大型"金融大数据主题策划"活动(查看详情)第一部分的系列案例/征文:感谢 百融金服 ...
- 浪潮通信收入_浪潮获2019大数据“星河(Galaxy)”奖
6月5日,由中国信息通信研究院.中国通信标准化协会主办,大数据技术标准推进委员会承办的2019大数据产业峰会,对第二届大数据"星河(Galaxy)"奖进行颁奖.作为大数据领域权威奖 ...
- 诸葛io的技术架构图_大数据浪潮下,诸葛io平台的技术演化之路
本文作者主要以诸葛io背后的大数据平台设计为重点展开讲解. 从本质上来讲,大数据平台的目标都是完成对数据的采集.清洗.加工.加载.建模分析,可视化的过程. 一.大数据平台的通用架构 1. 数据采集: ...
- 利用已有的大数据技术,如何构建机器学习平台
机器如何学习? \\ 人脑具备不断积累经验的能力,依赖经验我们便具备了分析处理的能力,比如我们要去菜场挑一个西瓜,别人或者自己的经验告诉我们色泽青绿.根蒂蜷缩.纹路清晰.敲声浑响的西瓜比较好吃. \\ ...
- 破物联网大数据难题,百度天工物联网平台上线时序数据库服务
日前,百度开放云天工智能物联网平台再添一款重量级产品--分布式时序数据库,百度开放云也成为国内首家发布物联网云数据库的公有云厂商. 根据相关研究机构预测,到2020年,将有125亿带有传感器的设备被使 ...
- 百分点大数据技术团队:低代码平台实践
编者按 :近两年来,低代码逐步出现在人们的视野中,特别是伴随着我国政府.企业的数字化转型,一些专注于数字化转型的厂商在集聚了相当的势能之后,大力推动了低代码的发展和行业普及.据市场调查显示,2020年 ...
最新文章
- 统计数字,空白符,制表符_为什么您应该在HTML中使用制表符空间而不是多个非空白空间(nbsp)...
- C++ - const 与 迭代器(iterator) 使用 详解
- 4/5 MySQL入门总结:数据表(TABLE)操作
- 移动端手机火狐浏览器全屏插件
- 祖龙娱乐2021年亏损3.03亿元 同比收窄60%
- 三星Note 10最新渲染图曝光:与之前爆料基本一致
- 百分比怎么在java里显示_如何在java中找到百分比我的代码给出错误?
- 国际版多时区设计方案【转】
- ed是什么梗_《JOJO的奇妙冒险》那些梗
- 看某帖有感(敬告我,以及我亲爱的朋友们)
- 笛卡尔积生成商品SKU
- win7计算机出现空白图标,Win7系统桌面图标显示异常变未知白色图标解决方法大全...
- ArchLinux安装配置及美化
- vue鼠标划过移入移出触发方法
- 2023在家赚钱怎么做,有什么适合在家做的副业项目
- 广东计算机二级考试大纲,全国计算机等级考试二级考试大纲(Fortran)
- VUE使用document.onkeydown键盘的监听与移除
- Echarts图表及数据刷新问题
- 【图像处理】图像拼接——图像配准、图像融合
- 推荐8部好看的抗日电视剧