前言

平台应用重构之后，那么就必须考虑的一件事情特别重要的就是数据归档，针对历史数据如何处理，特别是我这个平台应用的历史数据已经突破天际，已经过千万，而且还有几张历史很重要的表数据已经超过亿级的量级，真的很考验能力！下面就开始我在做重构前提的种种准备工作记录：

统计重要表数据，历史总量，季度，年度，月度区间的数据量
针对历史数据归档设计
历年的数据统计
最终考虑如何进行
考虑每天，每周，每月的书增量

1、统计数据

1.1统计目前全部数据表总数

select  '详细说明' ,'统计条数（条）'     from information_schema.tables where table_name = 'tbm_news_info' and table_schema = 'tbm' union all
select  'tbm_news_info信息表总数(重点)'                  , table_rows                from information_schema.tables where table_name = 'tbm_news_info' and table_schema = 'tbm' union all
select  'tbm_news_tags主表标签表总数(重点)'              , table_rows                    from information_

重构之前的数据统计，用于数据归档，要考虑数据迁移相关推荐

Axure高保真移动端智能数据监控+用户画像+饼状图+条形图+折线图数据统计+抖音直播app用户数据统计+智慧移动端主播粉丝、评论、播放量大数据统计+套餐购买、续费套餐prd流程
作品介绍:Axure高保真移动端智能数据监控+用户画像+饼状图+条形图+折线图数据统计+直播app用户数据统计+智慧移动端主播粉丝.评论.播放量大数据统计+套餐购买.续费套餐prd流程原型演示及下载 ...
抖音数据统计_26万条抖音数据背后的推荐逻辑以及严重失调的男女比例
本文作者:喜哥(张佳)易灵微课<数据分析-认知与实践>讲师新榜数据分析师人人都是产品经理.华尔街见闻专栏作家简书科技类优秀作者本文首发自公众号喜新(noyanjiu),如需转载请注明 ...
抖音直播带货数据统计，抖音直播间数据怎么分析
现在直播带货是一个热门趋势,它可以突破抖音挂购物车数量的限制,已经有不少商家通过直播带货实现流量变现了.那么,如何做好抖音直播就成了抖音电商玩家最大的需求. 很多带货直播团队都知道,直播后对抖音直播间 ...
【学术前沿分析】1 论文数据统计
论文数据统计 1.1 任务说明读取json数据.爬取数据: 论文数量统计,即统计2019年全年计算机各个方向论文数量: 1.2 数据集介绍数据集来源:数据集链接: 数据集的格式如下: id:arX ...
数据分析的重要一环之数据统计
转载:http://www.baobaoshequ.com/article/4536 不管是业绩总量,还是各学历的员工人数,都需要我们从明细数据中进行统计.计算.因此,数据统计的过程即对明细数据进行各 ...
php查询数据库表中的id个数,GitHub - xindong/easy-total: 一个可以对预先设定的sql语句进行实时数据统计并输出结果的服务...
Easy Total 这是一个通过监听预先添加好的SQL统计查询语句,对汇入的数据进行实时统计处理后不间断的将统计结果导出的服务解决方案,它解决了日志数据量非常巨大的情况下,数据库无法承载巨大的插入和 ...
实战 | 用Python爬取《云南虫谷》3.6万条评论，并做数据统计可视化展示分析，好看！...
最近鬼吹灯系列网剧<云南虫谷>上线,作为鬼吹灯系列作品,承接上部<龙岭迷窟>内容,且还是铁三角原班人马主演,网友直呼非常好看! 今天,我们就用Python爬取目前全部剧集的评论 ...
实战|用Python爬取《云南虫谷》3.6万条评论，并做数据统计可视化展示分析，好看！
大家好,我是才哥. 最近鬼吹灯系列网剧<云南虫谷>上线,作为鬼吹灯系列作品,承接上部<龙岭迷窟>内容,且还是铁三角原班人马主演,网友直呼非常好看! 今天,我们就用Python爬 ...
HBase在数据统计应用中的使用心得
1. 数据统计的需求互联网上对于数据的统计,一个重要的应用就是对网站站点数据的统计,例如CNZZ站长统计.百度统计.Google Analytics.量子恒道统计等等. 网站站点统计工具无外乎有以下 ...
Teams数据统计 - 用户在线离线状态
前几天我在wechat的moments里看到以为朋友发了腾迅会议的对用户个人的年度数据统计,看上去很有大数据感. 实际上 Teams 也具备的类似的能力,只是它把这个能力开放给了开发人员,我们可 ...

重构之前的数据统计，用于数据归档，要考虑数据迁移

前言

统计重要表数据，历史总量，季度，年度，月度区间的数据量

针对历史数据归档设计

历年的数据统计

最终考虑如何进行

考虑每天，每周，每月的书增量

1、统计数据

1.1统计目前全部数据表总数

重构之前的数据统计，用于数据归档，要考虑数据迁移相关推荐

最新文章

热门文章