如何应对大数据的三大挑战？

当互联网与IT技术对传统产业的改造越来越深入，全社会的信息化程度越来越高时，各行各业会产生大量的用户大数据。

大数据已经成国家战略，事关中国经济的转型与升级，以及中国在全球经济、政治、文化上的竞争力。

在2015年第四届中关村大数据日的活动上，分享嘉宾来自各行各业。从个人出行到工业大数据，从能源到企业服务，大数据正快速与企业结合，拥有勃勃生机。围绕着“共享共融数创未来”这个主题，在第四届中关村大数据日上，各位嘉宾发表了自身的精彩观点。

从概念到应用落地

过去几年，大数据还只是谈论概念，现在已经有了诸多应用。比如，在打车行业，如何利用大数据进行司机与乘客路线更精准的匹配，而不同场景、不同时段，用户出行的特点不同，司机也有不同的喜好与熟悉的区域，如何动态地将这两者匹配，实际上是大数据的难题。

同样，在工业领域，一整套数据的标准、主数据、数据仓库，甚至BI，亦可以优化工业化生产，提升效率。这其中模型数据化、数据产品化，是工业大数据，两个重要的探索方向。

而在民生领域，以龙信思源为代表的大数据公司，为政府、社会组织及研究团队，提供了大量的数据产品支持，这也促进了整个民生行业大数据的发展。

中国的大数据产业，才1500米，而未来的路是万米之长。这其中蕴含的机会也有很多。目前，大量的大数据创业公司，围绕数据交换、数据建模、数据分析、数据可视化、数据集成、数据仓库、数据行业应用等大数据产业链各个层面，开始创业。据了解，目前，大数据已经成为全球知名VC投资的重要方向，并且各个阶段企业的融资步伐，也开始加快。

当大数据产业链、行业应用逐步发展完善之后，大数据将会形成质变，创新整个社会形态。

宽带资本董事长田溯宁认为，大数据不仅引起数据的量变，还会引起整个企业经营形态发生变化。过去，工业时代是以产品为中心，而大数据时代，需要的是围绕客户运营，依据客户需求，给出合适的数据产品。并且，可以实时将客户需求与产品进行较好匹配。“在客户最需要的时候，站出来，这比什么都有效。”

大数据的3大挑战

大数据是从信息技术的底层来捕捉信息化的共性基础和未来发展趋势。大数据技术是底层技术，基础性、内蕴性、普适性可以给各个行业助力。但大数据的基础性、底层性，也带来了一些挑战。

中国科学院院士、大数据专家徐宗本认为，大数据行业的真正挑战来自三个方面：一是原来的分析基础要变化，要融合统计学、计算理论基础、逻辑基础。二是，计算技术也需要重新革新，无论是存储、计算语言、还是计算方法都需要重新来过。三是，大数据做出来的结论对不对，还无法大规模验证，这是目前面临的最大挑战。

在三大挑战中，应用层的挑战当属榜首。大数据，看上去很美，但对大多数人来说，更是雾里看花。如何将抽象的数据变成一个个可以在现实中实践的产品，这些需要各行各业进行深入探索。

目前，大数据的浪潮才刚刚开始，许多传统产业看到了这方面的价值，但是并没有获得收益。而如果大数据没有相关的产业基础，亦很难有更多的务实创新。行业人士一致认为，未来，大数据的机会与挑战皆在与行业的结合上。

未来的路要怎么走？

大数据产业，既独立于行业，有自身的产业链条；又依赖于各个行业，形成大数据应用的广度与深度。

共享经济这个词近两年很流星，除了实物类的共享外，还引领了数据层面的共享。Airbnb、滴滴打车、优步，这些都实现了物理资源的共享。而在IT界，云计算是将每个人需要的计算能力，汇聚到一起，形成一点对多点的需求。而在共享经济时代，不必将资源和计算的方式连接在一起，大众将自身拥有的资源共享，成为多点对多点的关系。在这一模式下，大数据也可以作为一种资源共享出来。

目前，国内进行的数据共享，主要围绕数据互换、数据定价、数据反馈等层面来进行。举个例子，一个利用大数据进行金融创新的企业，其获得的数据源主要来自于几个方面:用户、合作的场景与客户、第三方征信数据。与合作场景\客户往往通过数据互换、数据反馈来进行。而与第三方征信公司，数据往往通过数据定价来完成。

与会专家不少认为，由于数据定价模式还不完善，数据只处于交换阶段，这使得大规模的数据交换无法进行。未来，还会是通过数据交换平台来完成。

行业人士一致认为，未来，数据交易市场目前还处于发展初期。未来，数据交易市场还从服务、IT应用、行业开发等各个方面，来形成数据产品，进行流通。并且，数据流通不是一个空话，这里也非常需要多行业多企业的数据聚合，将交易市场这个大平台，实现最大化。

不少大数据创业公司，致力于大数据交易。但是，数据堂CEO齐红威的观点颇具代表性，他表示，数据交易平台会遇到几个核心问题。：一是直接的数据交易无法实现。不少数据涉及个人隐私，有一些处于灰色带这些数据需要脱敏之后，形成相关的产品之后，才能使用。并且，不少数据是涉及国家安全的，这些数据，就不能使用，这是每一个大数据公司的底线。

二是，数据提供方和数据需求方的需求并不对等。目前，数据提供方想要的是对自身数据的不断补充，以及对自身数据产品的调整与研发。而同时，数据需求方，则希望能够整合多家数据，完善自身的数据体系。现在，每家公司都认识到自身的数据资产价值，对于数据的开放、合作上的积极性还需要进一步提高。

三是，数据的版权问题。原始的数据由于各种没法使用，公司与产业需要的是脱敏感数据产品，那这些深度加工过的数据产品，版权究竟属于谁，谁能够使用。这些还需要进一步探讨。

四是，数据的加工。原数据可以使用的场景、交易的范围都被大大缩减了。而进行数据加工之后，可以使用的产品与场景，都骤然增多。

对于这4大问题，行业一致认为，除了通过市场化的企业力量，去创新方法，改装这些问题之外，还需要政府的主导力量。

中关村管委会副主任宣鸿表示，中关村管委会将全力支持大数据产业快速发展，从政策支持、人才引进、资源扶持等各个方面，全力支持大数据。

据了解，中关村管委会制订了中关村大数据产业发展促进路线图，面向2020年，中关村将着力引进100个大数据顶尖人才和100个创业团队，超前布局，人机交互、人工智能、虚拟现实等关键技术，落地5家一流的大数据究机构和5家交易评估机构，建设30个大数据共享应用平台，建设20个企业创业的孵化平台，建设3个大数据产业园并落地50个大数据的产业化项目。

推荐阅读文章

大数据工程师在阿里面试流程是什么？

学习大数据需要具备怎么样基础？

年薪30K的大数据开发工程师的工作经验总结？

如何应对大数据的三大挑战？相关推荐

大数据面临的挑战：当大数据遭遇云计算
本文讲的是大数据面临的挑战:当大数据遭遇云计算,大数据正在彻底改变IT世界.那么,什么样的数据谈得上数据呢? 根据IDC的报告,未来十年全球大数据将增加50倍.仅在2011年,我们就将看到1.8ZB( ...
大数据产业发展三大模式可毕其功于一役
大数据产业发展三大模式可毕其功于一役随着大数据的发展和应用的深入,大数据时代已经悄无声息的来临,而在大数据时代下,如何发展大数据产业,成为业界关注的焦点. 以前是各种传播公司和科技巨头如I ...
什么是大数据，怎么理解和应对大数据时代
什么是大数据,怎么理解和应对大数据时代在大数据与深度学习中蝶化的人工智能.当代人工智能离不开大数据和深度学习算法.我们先来了解什么是大数据,大数据的本质是什么,在大数据时代我们应该如何应对? 当我们 ...
航运大数据——机遇和挑战
航运大数据--机遇和挑战 Ørnulf JanRødseth, MARINTEK,Trondheim/Norway, OrnulfJan.Rodseth@marintek.sintef.no Loku ...
目前医疗大数据面临四大挑战
2018年,在由中国研究型医院学会医疗信息化分会医疗和临床科研大数据专业委员会主办.HIT专家网承办的"医疗大数据应用与实践研讨会"上,国家卫生计生委统计信息中心原副主任.中国医院 ...
内存计算技术应对大数据挑战
访SAP张志琦的过程中涉及到以下内容: 数据的"失控" 前言时间快转,又到了岁末年初盘点之时. 2012年,不仅是末日之年,也是变革之年. 深刻的变化正在发生,而这将彻底改变人的 ...
如何应对互联网大数据时代的挑战
"21世纪是一个复杂而不可预知的世纪,我们那些照目前来看已经固定的思维习惯和价值观正接受新的挑战.",这是当代著名动画导演.动画师及漫画家宫崎骏先生对快速发展的互联网时代的体悟! ...
如何解读「量子计算应对大数据挑战：中国科大首次实现量子机器学习算法」？——是KNN算法吗？...
作者:知乎用户链接:https://www.zhihu.com/question/29187952/answer/48519630 我居然今天才看到这个问题,天--本专业,有幸听过他们这个实验的组会 ...
保险公司“大都会人寿”以新兴企业态度应对大数据挑战
大都会人寿是一家规模庞大的保险企业,在跨越美洲.欧洲以及亚洲的庞大市场当中拥有超过9000万客户.不过在本周三于纽约市举办的Gigaom Structure Data大会的舞台上,该公司区域应用程序开 ...

如何应对大数据的三大挑战？

如何应对大数据的三大挑战？相关推荐

最新文章

热门文章