说明

概念的创建是重要的

现实中，数据的获取和处理(ETL)是很麻烦的事，以下是一些关于数据处理的思考。

内容

MVD(MultiVerse Data) 多元宇宙数据

借用了《奇异博士》里面的MultiVerse一词，我觉得这么说很形象。我们要研究的数据事实上也是在多元宇宙中的，每个数据都会有不一样的投射。

1 可以分为全量MVD和增量MVD

全量MVD（或称 MVD比较）: 当比较算法对数据的比较差异，两个MVD是全量的对原始数据进行映射
增量MVD（或称 MVD补充）: 有时候只需要对某些数据进行更改，一个MVD处理的原始数据可能只是一个子集

2 如何使用MVD

SCLC会面向多个MVD，在发起请求时会对名单内的MVD List进行并发查询；SCLC可以选择性的使用MVD,更可以更改其中的RuleSet和权重。

3 数据业务与MVD

数据天然存在一些特性，导致其相关工作呈现脏、乱、差的特点。

所以不要视图去"规范"它，而是有一个很好的机制去容纳它(磁盘空间)，修正它(复杂逻辑控制)

4 MVD的层级

MVD和SCLC综合起来，就形成了对多元宇宙数据的解答与协调。可迭代，可改进。因为在处理步骤上和业务应用上都有很多层，所以MVD也是

建模杂谈系列142 关于MVD的思考相关推荐

建模杂谈系列225 小结与反思
说明一个项目结束了,趁这两三天在休息,把本次的收获和教训都盘点一下,然后再开始一个更刺激的项目. 短暂的停顿,是为了把过去一段时间辛苦的成果固化一下,把那些很容易消散的宝贵知识和经验可以给未来做决策 ...
建模杂谈系列100 数据工厂
说明我觉得这个概念可以把很多之前讲的概念串起来.概念是非常重要的(<反脆弱>有提到),找到合适的概念来表达思想可以更好的帮助思考和分析. 内容数据工厂包含了两方面的解释: 1 从业务上 ...
建模杂谈系列159 数据“板材“模型
说明数据是抽象的,数据处理的工艺也是抽象的,我觉得需要有一些可见的模型进行类比才好记忆和思考.我一直把数据处理和实体制造进行类比,也可能是我过去做过一些制造业的管理咨询有关系,我觉得很自然. 本篇就 ...
建模杂谈系列226 流程与对象
说明鲁迅说:我家门前门前有两棵树,一棵是枣树,另一棵也是枣树. 从编程语言的角度,可以分为两大类(面向过程或面向对象),可以参考这篇文章文章的内容其实不多,我贴一下: 对于两者的比较,文章这么说: ...
建模杂谈系列102 信息安全一二
说明现在考虑信息安全还偏早,并且纯技术的信息安全也并不可靠,本文简单梳理一下如何从大的层面确保信息安全. 内容 1 从数据存储上 1.1 AB类首先,一些数据/算法永远不会存在公网机上.可部署在公 ...
建模杂谈系列61- 行业分类的逻辑
说明假设只从公司的名称上,能不能对行业分类? 理论上应该是可行的,但是就行业分类背后的逻辑来说,我觉得还是不太统一.本篇探讨一下行业分类的内在逻辑. 内容 1 为什么要行业为什么有行业? 因为有社 ...
建模杂谈系列62- knime模型实例1- 流失预测 Churn Prediction
说明 KNIME是一个开源的机器学习平台,有兴趣可以自己查一下怎么用,这里几篇都是关于其中的示例介绍. 内容 1 获取数据原始程序读取了两个文件并拼接在一起根据节点里的信息找到文件位置,拿出来从 ...
建模杂谈系列81 项目元数据实践3
说明这个实践接着前面的总结,结合可用的时间,进行一定的升级. 内容 1 背景在跑批时,由于目标库的空间不足,导致大约40%的结果没有存入.并且我发现,由于没有做交付的确认(向目标库查询),程序默认 ...
【数学建模绘图系列教程】绘图模板总结
数学建模绘图系列教程合集已更新完成: https://space.bilibili.com/472442675/channel/collectiondetail?sid=562950&ctyp ...

建模杂谈系列142 关于MVD的思考

说明

内容

1 可以分为全量MVD和增量MVD

2 如何使用MVD

3 数据业务与MVD

4 MVD的层级

建模杂谈系列142 关于MVD的思考相关推荐

最新文章

热门文章