数据传输完整性_数据集成：什么是数据完整性？

数据完整性是在数据生命周期中(从记录数据到销毁数据)整个过程中数据准确性和一致性的保证。简单来说，数据完整性意味着您已经按预期记录了数据，并且在整个生命周期中都没有意外出现。这个概念很简单，但实践却并非如此，数据完整性是任何大数据系统的重要关节之一。

数据完整性的重要性

数据完整性非常重要，因为几乎每个关键业务决策都基于公司的数据。凭借良好的数据完整性，您可以分析公司的数据来回答以下问题：您的业务成长怎么样？您的业务成本是多少？您在不同地区的销售情况如何？您的业务中有哪些是入不敷出的？企业不同部门的效率是多少？您的企业是否达到基准目标？很显然，面对这些综合性问题如果没有完整的数据我们很难回答。

数据完整性面临的挑战

数据完整性面临的挑战分为两大类：

物理容灾

存放数据的物理系统可能会遭受任何物理破坏：火灾，洪水，爆炸，极端温度，辐射，腐蚀以及任何可能影响物理结构的自然灾害都可能影响您的物理数据完整性。

人为操作错误

软件由人写，被人用，人比机器更容易出错，所以当人力介入到数据系统时，就可能破坏数据的逻辑完整性。除了人为操作不当外还有以下几种可能：

软件的设计未能包含适当的约束
软件错误允许将不正确的数据引入系统或从系统中删除
数据传输时可能会发生传输错误，包括在从一台设备传输到另一台设备的过程中发生意外更改或数据泄露
数据修改可能是蓄意恶意的，例如黑客入侵，或者是病毒和恶意软件

如何维护数据完整性

物理数据完整性

部署可水平扩展的系统，设置至少3个分区备份，以便在一个系统发生故障时可以使用备份系统。我们建议最好交给云厂商处理，如阿里云，亚马逊等。如果您需要维护自己的机器，您需要保证电源，配置防辐射芯片，例行检查防火，防盗系统。

非物理数据完整性

维护数据的完整性可能涉及多个系统和步骤。您需要计划完整性检测方案，被检测区域包括：输入系统，存储系统以及所有数据消费端。由于大多数公司数据存储在数据仓库或数据库中，技术团队需要定期检查所有成员和部门的数据权限和数据与数据之间的约束力。

数据的来源越多，您引入错误的可能性就越大。如果您的数据大部分都在云上，通常物理部分可以忽略，视为已经解决的问题，但是如何保证非物理数据的完整性挑战仍然不小。通常，企业会自己组建团队完成自己的数据集成，但是我们会发现这样做出错的几率很高，因为技术团队要写很多代码来完成众多数据源的集成，每一行代码带来价值的同时可能也产生了bug，从而破坏数据完整性，对此我们在之前的文章里有更详细的介绍《数据管道: 从一个脚本到数据管道路上的坑》