数据治理-数据生命周期管理-大数据归档与销毁

数据归档

在大数据时代，存储成本显著降低的情况，企业希望在技术方案的能力范围之内尽量存储更多的数据。但大数据时代同样带来了数据的急剧增长，因此数据归档仍然是数据管理必须考虑的问题。与传统的数据备份和数据归档不同的是，大数据时代的数据归档更需要关注数据选择性恢复的功能。
        在大数据的正常运行过程中，热数据到温数据、温数据到冷数据的转换可以认为是归档的过程。在这个过程中，数据根据热度的变化，从高价的设备上逐步转移到低价的设备上，其它访问性逐步降低，但仍然具有可访问性。
        哪些数据需要归档？主要与监管法规的要求及企业的战略有关。传统的数据归档主要依据数据的数龄，在大数据时代，可依据数据的热度或者依据数据的价值。企业根据监管法规的要求及企业的策略，明确热数据、温数据和冷数据之间的界限，确定企业的数据归档策略，并依据该策略对数据进行归档处理。
        不同的数据有不同的归档场景，制定某种数据的归档策略时，应该对数据使用的需求进行分析，根据分析的结果，结合法规、风险、策略、访问成本，以及数据价值等方面，梳理数据的规范场景。数据归档实际上也是一个ETL的过程，为了保证归档后数据的可访问性，在归档时需要考虑数据的存储、检索与恢复。
        归档过程中，需要考虑数据压缩与格式转换的问题，在数据热度很低的情况下，从成本的角度，应该考虑对于数据进行压缩。压缩可以通过手工，也可以通过一些数据库层级或者硬件层级的工具进行。数据压缩会导致访问困难。因此企业在明确哪些数据可以压缩的时候，必须要有明确的策略。随着技术的发展，压缩的技术应尽量选择可选择性恢复的数据压缩方案。

非结构化数据的归档，主要应该关注向数据注入有序的和结构化的信息，以方便数据的检索和选择性恢复。

数据销毁

随着存储成本的进一步降低，越来越多的企业采取了“保存全部数据”的策略。因为从业务和管理的角度。以及数据价值的角度上讲，谁也无法预料未来会使用到什么数据。但随着数据量的急剧增长，从价值成本分析的角度，存储超出业务需求的数据未必是一个好的选择。有时候一些历史数据也会导致企业的法律风险，因此数据的销毁还是很多企业应该考虑的选项。
对于数据的销毁，企业应该有严格的管理制度，建立数据销毁的审批流程，并制作严格的数据销毁检查表。只有通过检查表检查，并通过流程审批的数据，才可以被销毁。