数据迁移（数据清洗）分享

笔者2013年接了一个资源管理咨询项目，负责该项目的实施管理，其中有几个月是组织几个开发厂家写迁移脚本，做数据迁移（从原有的多个系统中把数据同步过来），仅分享当时的经验。
前期先做基础数据梳理和映射确认，组织所有的厂商一起梳理区域、标准地址、局站等信息，并梳理统一命名原则，确认需要采集的数据来源及存在的关系（从资源系统、网管系统、号线系统、手工台账等获取）。
然后做字段确认，和哪个系统字段匹配，字段格式是否一致，新系统的数据格式是否可以更改。
然后写迁移脚本，对几个开发厂商简单分工，每个厂商负责写几个专业的迁移脚本，过程中有疑问，再做字段确认和答疑。
迁移脚本汇总与验证检查，让他们首先验证自己的迁移脚本是否可以迁移数据，然后再做交叉验证，对出现的问题进行讨论总结。
迁移脚本的更新与备份，平时都在客户提供的环境中进行数据验证及备份。但有一次用户服务器存储损害导致所有的脚本及备份数据丢失，后面费了很大功夫才从每个开发人员手里汇总迁移脚本，并又重新做了多轮验证。后期要求所有的开发厂商做异处备份，在多台服务器上进行备份，如有可能，在本地也存储一份。
做数据清洗时，数据的关联关系也被清洗掉，需要数据迁移后，在数据库中重新建立关联关系。
数据迁移后的核查，培训用户利用自定义导出功能，把需要核查的数据导出，按照一定的顺序进行核查确认，让他们对重复数据、残缺数据进行修改。

数据迁移（数据清洗）分享相关推荐

如何将旧电脑数据迁移到新电脑？10 款数据迁移软件工具分享
最好的数据迁移软件可以自动完成将数据从一个系统传输到另一个系统的过程.人们使用数据迁移软件的最常见原因是当他们从一个应用程序切换到另一个应用程序时. 10 款数据迁移软件公司或个人出于各种原因移动数 ...
ecs服务器数据迁移_免费服务器迁移上云实践分享！一键迁云，自动同步
导读:云服务器ECS(Elastic Computing Service)是每个阿里云用户上云的"第一步". 本次分享将为大家介绍免费的服务器迁移上云最佳实践方案和新功能特性,包括 ...
数据库主备_数据库周刊40丨OceanBase官网上线开发者社区；人民日报关注易鲸捷；数据库迁移经验分享…...
摘要:墨天轮数据库周刊第40期发布啦,每周1次推送本周数据库相关热门资讯.精选文章.干货文档.本周分享 OceanBase官网上线开发者社区:人民日报关注易鲸捷:2020中国系统架构师大会10月线上召 ...
我在MongoDB年终大会上获二等奖文章：由数据迁移至MongoDB导致的数据不一致问题及解决方案...
作者 | 上海小胖来源 | Python专栏(ID:xpchuiit) 故事背景企业现状 2019年年初,我接到了一个神秘电话,电话那头竟然准确的说出了我的昵称:上海小胖. 我想这事情不简单,就回 ...
hibernate oracle 读写分离_利用FDW进行ORACLE到Postgresql的数据迁移
随着开源数据库技术的发展和去"O"工作的推进,越来越多企业生产系统选择使用Postgresql数据库.Pgsql采用多进程结构,其存储过程.函数的支持好于mysql.个人认为pgs ...
HBase存储剖析与数据迁移
1.概述 HBase的存储结构和关系型数据库不一样,HBase面向半结构化数据进行存储.所以,对于结构化的SQL语言查询,HBase自身并没有接口支持.在大数据应用中,虽然也有SQL查询引擎可以查询H ...
关于亿级账户数据迁移，你应该试试这种方法...
背景在阿里巴巴内部"大中台,小前台"的组织和业务体制,使前线业务更加敏捷,赋能业务积极迎接未来挑战和机遇,在阿里大中台能力建设过程中,同质化中台服务将会合并,小前台需要迁移原来依 ...
iOS程序员眼中的客户端免登陆(数据迁移已更新)
2017.01.15 一.前言,为什么要做免登陆 2017年1月9日,蓄势已久的小程序正式上线,着实,张小龙用完即走的理念发挥的淋漓尽致,无需下载,扫码可用,用完即走 2017年互联网人口红利结束 ...
oracle怎么将一列挪到另一列,详细讲解Oracle数据库的数据迁移方法
<详细讲解Oracle数据库的数据迁移方法>由会员分享,可在线阅读,更多相关<详细讲解Oracle数据库的数据迁移方法(4页珍藏版)>请在人人文库网上搜索. 1.详细讲解 Or ...

数据迁移（数据清洗）分享

数据迁移（数据清洗）分享相关推荐

最新文章

热门文章