最详细大数据项目落地路线图实践总结

今天，来谈一谈“大数据项目如何落地？”这个话题。从事过多个大数据项目的规划方案及项目落地工作，在这里与大家分享一些心得，主要是关于大数据项目如何成功落地并取得预期目标，也可以说这些是实践出来的观点。

对于一个大数据应用项目/产品的落地，可以大致总结为五大步骤阶段：数据规划、数据治理、数据应用、迭代实施、商业价值。如下图：

大数据项目落地路线图

第一阶段：数据规划

一个成功的大数据项目，需要有一个良好的开端，即做好数据规划阶段的各项工作，具体包括：

▊战略意图：在这个阶段，要明确战略意图，这个战略意图需要在相关干系部门之间达成一致和共识，换句话说就是为什么要搞这个大数据项目？

▊战略规划：战略意图清晰以后，就可以作为贯穿整个项目过程的灯塔，接下来要需要将战略意图转变为战略规划，通过战略规划来进一步让相关干系部门和人员清晰的认识到这个大数据项目将要做什么？

▊商业目标：战略规划完成后，就要明确这个大数据项目的商业目标，即通过这个大数据项目实施，为企业带来怎样的商业价值？是降低成本呢，还是扩大营业收入，亦或是通过创新业务为企业带来新的价值增长点？

▊执行方针：商业目标确定以后，需要进一步来确定该大数据项目的执行方针，包括：项目执行的基本原则、利益分配原则、分歧处理原则等等。

▊组织支撑：上述Action完成后，就需要建立对应的项目组织了，成立项目小组，明确相关岗位以及岗位职责，根据不同的战略意图、战略规划、商业目标和执行方针，建立不同架构和规模的组织。

✍上述Action还都属于项目可以成功落地的先导性工作，那么接下来就是许多细致的具体工作，这些具体工作都是保障项目可以成功落地的基石。

▊产品(项目)规划：协同各个干系的部门和干系人，有效的建立起来项目内容规划机制，完成产品(项目)的总体规划。

▊场景规划：完成产品(项目)的总体规划，作为大数据项目，需要继续规划出主要的应用场景，场景规划是有效地推动后续步骤阶段的基础，场景如果规划的不清晰，直接会影响到后续的一系列Action的执行。

▊需求评估：产品(项目)规划、场景规划完成后，需要将规划内容反复与各个干系部门和干系人进行沟通与确认，最终形成项目需求说明书，同时完成需求的评估，评估相关规划和需求是否可以满足战略意图、战略规划以及商业目标。

✍上述Action完成后，需要从架构和落地角度，进一步深化：

▊架构规划：根据已完成的产品(项目)规划、场景规划和需求评估，从落地的角度完成数据架构规划，架构规划是项目成功落地的重要环节。

✍有的大数据项目，还需要引入第三方的数据支持，以及体系内其他非干系部门的数据支持，这样就需要进行有效合作。

▊合作意图：如果项目需要引入第三方的数据支持，以及体系内其他非干系部门的数据支持，需要充分评估项目风险与合作意图，有效达成合作共识。

第二阶段：数据治理

第一阶段的工作完成以后，已经具备了一个大数据项目成功落地的良好基础，接下来就需要按照数据规划阶段的成果继续后续的环节，首先要做的就是要有数据，并且要有高质量的数据，数据到位才能保障项目的有效推进和执行：

▊来源评估：在数据治理阶段，首先要进行数据来源评估，展开数据梳理相关的工作，及时发现数据来源可能存在的风险并加以处理。

✍来源评估完成后，确认可以有效获取到所需要的对应数据来源的数据，就可以进行数据的获取工作了。

▊数据采集：数据采集是一个很重要的工作，只有把数据采集来，才能进行一系列的大数据相关的工作。数据采集过程中，注意数据采集的有效性。

▊数据预处理：为了更好的、更有效的存储有价值的数据，同时方便系统对数据的使用，部分数据可以做预处理。

▊数据质量：数据质量环节很重要，如何有效保证数据的质量？直接影响着大数据项目的实施效果，在这个环节中，要投入很多的精力去形成标准，并建立相对自动化的数据质量系统。

✍上述的几个环节，必要时需要借助专业的产品工具。

▊数据管理：数据管理工作，将影响项目的整个周期，建议采用专业的数据管理产品和工具，或借助有开发能力的供应商量身定做一套数据管理系统。

▊第三方数据：可以通过数据资产置换、购买等等方式完成第三方数据的接入。

在整个第二阶段会形成一系列的标准和流程，这里不一一赘述。

第三阶段：数据应用

第一、第二阶段工作完成以后，就将进入最重要的第三阶段工作，在这个阶段中，我们将承前启后的推动大数据项目完成落地工作，真正去形成大数据的应用，带来真实的业务价值：

▊场景细分：在这个阶段，对于第一阶段中形成的场景规划，要进行可被实现的场景细分，通过对场景的细分，形成一个个的用例(Use Case)。

▊干系组织利益共识：通过场景的细分后的一个个用例(Use Case)，已经可以很好的明确给各干系组织带来的业务价值，在这个时候需要推动各个干系组织形成利益共识，以免由于利益问题导致项目执行的阻碍。

✍完成上述Action后，就需要借助供应商的参与和力量继续完成后续的Action。

▊功能规划：经过上述Action环节，项目已经进入重要的落地阶段，需要根据已经整理好的用例(Use Case)、数据，形成具体的功能规划。这些功能规划，需要是可被准确识别和实现的，直接对应了大数据应用系统的功能点。

▊技术选型：完成了功能规划，就需要进行技术选型工作，由于大数据相关的技术非常多，这项工作需要借助专业供应商的力量来一起完成，需要充分考虑非功能性指标，比如：性能要求等等。

▊产品选型：技术选型后，需要根据选择的技术路线，来找到可供选择的、符合技术路线的产品，完成产品选型工作，如：数据科学平台等等。

▊应用分析模型设计：大数据项目的一个重要的内容，就是要通过数据来形成各种应用分析模型，借助类似于数据科学平台类的产品，可以快速有效形成各种预测分析模型。完成这个环节的工作，需要有数据科学家、业务分析师等等一系列的角色参与相关工作。或者说引入第三方的成熟产品，如客户智能分析平台、物联网智能分析平台、运营智能分析平台等等，通过引入这些产品来直接引入成熟的分析模型。

✍技术选型、产品选型以及应用分析模型建立后，就需要进行验证工作了，主要包括场景PoC和商业验证。

▊PoC：选取具有典型代表意义的大数据应用场景，进行现场的PoC验证工作，通过PoC，修正和完善每个用例(Use Case)，同时验证技术选型、产品选型的正确性，发现问题及时处理，甚至重新选择技术与产品。

▊商业验证：PoC环节完成后，还需要进行商业验证，验证和评估一些关键场景用例(Use Case)的应用效果，评估和预测是否可以达成商业目标，从而推导出达成商业目标可能存在的问题和风险，进行修订与处理，必要调整各个干系部门和干系人之间的利益共识。

第四阶段：迭代实施

前三个步骤阶段的工作有效得完成后，就进入了第四步骤阶段迭代实施，之所以是迭代实施，也跟大数据类项目的特征有关，就如大数据建立分析模型是一种探索的过程一样，大数据项目的执行也需要进行不断的验证、修正、实施这样的工作，可能需要经过多轮的迭代才能完成项目的建设：

▊模型应用：第三阶段中经过PoC和商业验证的模型，需要开发为特定的大数据分析应用才能最终为使用者所使用并发挥价值。在模型应用过程中，注意模型的规约和使用条件，注意与现有系统的融合。

▊系统开发：系统开发工作是保证模型应用环节有效达成的手段，同时通过系统开发能力可以开发出围绕大数据分析应用的外围系统。

▊效果评价：效果评价环节，主要是组织相关干系组织与干系人，对实施效果进行研讨和确认，同时对利益共识进行确认和达成一致，如果没有达到预期效果则继续进行迭代改进。

▊业务验证：业务验证工作是保障大数据分析应用项目真正可以融合于业务、服务于业务的重要手段，业务验证建议从业务流程是否通畅、关键业务点是否达到预期目标、是否对业务办理产生障碍等等多方面进行。验证人员需要是使用该大数据分析应用系统的一线业务人员。

✍如果上述的环节发现了重大问题，则针对问题形成改进方案后进入迭代改进环节。

▊迭代改进：迭代改进分为小迭代和大迭代，小迭代是在同一期项目中完成的，受到项目上线周期的制约，小迭代可以改进的问题是有限的、小型的。对于影响范围巨大，难度较高的问题需要进入大迭代改进，大迭代一版来说可以规划为项目的二期、三期等等，直到达成预期的战略意图、战略规划和商业目标。

✍经过上述的Action环节，一个成功的大数据应用项目终于落地了，这也仅仅是落地的开始，接下来的工作是检验项目成果和真正发挥大数据价值的时刻：

▊实施推广：围绕项目的战略意图、规划和商业目标，进行有效的实施推广工作将变得非常重要，良好的实施推广工作可以真正让大数据应用分析项目用起来，让数据“活”起来，源源不断产生价值。推广过程，要巧妙的运用各个干系部门和干系人之间的利益共识。

▊数据安全：大数据项目有自己的特点就是一切都围绕数据来展开，说到数据就会涉及到一些隐私数据、高密级数据等等，不管在开发过程中、还是在推广过程中，亦或是在第二阶段的数据治理过程中，都需要严格遵守相关信息安全和数据保密的规划，从技术上和使用上都要保证数据的安全。数据安全是一个大数据项目真正可以成功的重要内容。

第五阶段：商业价值

前面四个步骤阶段工作很好的完成后，就是享受大数据应用项目成果的时刻了，相信在前面四个阶段的各个环节中，各个项目参与人员都受到了或多或少的各种折磨，不过这些折磨都是值得的，因此大数据项目真正可以为企业带来不可以预想的巨大价值，只有上马了成功大数据项目的企业才能深深体会到。

✍在这个阶段中，企业获得了：

▊数据资产：企业的数据资产是大数据应用项目带来的重要成果，也是推动企业创新、产业升级、企业转型等等的财富。

▊数据服务：通过大数据应用项目的实施，可以有效推动企业的数字化转型工作，围绕数据资产形成数据服务的能力。

▊决策支持：通过大数据的预测分析能力，有效提升了企业的决策支持能力。

有效获取了内部商业利益价值、外部商业利益价值，真正去实现了企业建设大数据应用项目的战略意图、战略规划和商业目标。

题外话：

如果企业的大数据能力和人员有限，上述路线图中提到的每个步骤阶段，都可以引入供应商来协助企业完成。既可以选择一家供应商负责完成整个项目过程的建设，也可以分步来实施，在不同的阶段选取不同的供应商来完成。

一般来说，建议后面三个阶段最好选择一家有综合能力的供应商来总包实施，这样可以更好完成项目的预期目标。

✍下图大致总结了选择合作伙伴的一点参考，仅供参考：

大数据项目落地路线图，供应商选择参考

以上是“大数据项目如何落地？”路线图，是一些项目心得，也可以说这些是实践出来的观点，期望对大家有所帮助。

作者简介

田军，大连理工大学硕士，现任东软集团先行产品研发事业部咨询总监，在平台产品及企业信息化领域从业十多年，曾在东软集团基础软件事业部、东软云科技有限公司任职，目前专注于数据科学、人工智能等领域的研究，主要研究大数据项目如何在行业进行落地，服务过数百家行业领导者客户，在大数据、云计算、数据中心、企业应用平台、业务流程管理、企业信息化集成等领域具有多年实战经验。

注：本文系「数据科学浅谈」授权数据观发布，作者：田军，版权著作权属原创者所有，禁止二次转载，如需转载务必申请授权。编辑：Fynlch（王培），数据观微信公众号（ID:cbdioreview），欲了解更多大数据行业相关资讯，可搜索数据观（中国大数据产业观察网www.cbdio.com）进入查看。

Editors' Picks精选

最详细大数据项目落地路线图实践总结相关推荐

企业大数据项目规划落地实施路线图
一般来说,一个完整的大数据项目实施,需要经过开发环境搭建.集群环境部署.数据采集.数据存储与交换.数据离线与实时分析.大数据可视化等多个实现流程,这就要求系统掌握大数据技术知识. 下面以一个完整的大数 ...
2018大数据培训学习路线图（详细完整版）
2018大数据培训学习路线全课程目录+学习线路详解(详细完整版) 第一阶段:大数据基础Java语言基础阶段 1.1:Java开发介绍 1.1.1 Java的发展历史 1.1.2 Java的应用领域 1 ...
informatica数据脱敏_助您首个大数据项目破茧成蝶的实践指南
自从本世纪初软件应用开始在整个业务流程中盛行以来,一个不争的事实就是:数据改变了我们的工作方式.越来越多的企业认识到必须在大数据方面有所作为,但他们却并未切实规划出如何开展这项工作.而调查发现,切实展 ...
大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践
大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决 ...
BDTC 2017 | “TOP10大数据应用最佳案例实践”十佳获奖单位精彩分享
[CSDN现场报道]12月7-9日,由中国计算机学会主办,CCF 大数据专家委员会承办,中国科学院计算技术研究所.中科天玑数据科技股份有限公司.CSDN协办的2017中国大数据技术大会(BDTC 20 ...
连接impala出现method not supported_Impala在网易大数据的优化和实践
文章作者:温正湖网易杭研编辑整理:张博出品平台:DataFunTalk 导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析 ...
数据质量专项治理在政务大数据中的应用实践
根据我们的研究和实践,我们认为数据资产管理活动可以分为三个方面: 第一是让数据用起来第二是让数据用得放心第三是让数据创造价值我们的政府部门,尤其是政府的大数据管理部门,在过去十几年中,针对&qu ...
Impala在网易大数据的优化和实践
导读:网易大数据平台的底层数据查询引擎,选用了Impala作为OLAP查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务.今天将为大家分享下Impala在网易大 ...
Impala 在网易大数据的优化和实践
导读: 网易大数据平台的底层数据查询引擎,选用了 Impala 作为 OLAP 查询引擎,不但支撑了网易大数据的交互式查询与自助分析,还为外部客户提供了商业化的产品与服务.今天将为大家分享下 Impa ...

最详细大数据项目落地路线图实践总结

最详细大数据项目落地路线图实践总结相关推荐

最新文章

热门文章