大数据经历了40年的发展，传统数据和网络大数据存在哪些不同？

文章来源：探码科技

从“大数据”一词的正式出现距今已经将近40年的时间，现如今，互联网成为大数据三大来源之一，是获取、传播和扩散相关信息的重要渠道。作为主要数据类型，如今的网络大数据都有哪些特点？本文将通过传统数据与网络数据的对比，探讨网络大数据的特征。

传统数据和网络大数据的区别

结构化数据和非结构化数据

传统行业更多的是结构化数据，存储在数据库里,可以用二维表结构来逻辑表达实现的数据,像以应用oracle、Sql Server等数据库的制造型企业的ERP系统。而网络大数据更多的是非结构化数据，就是不能以二维形态描述的,例如所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等，像是医疗影像系统、教育视频点播、视频监控、国土GIS、设计院、文件服务器( PDM/FTP)、媒体资源管理等具体应用。

数据的体量

互联网拥有海量的数据,由于互联网行业的特点,每时每刻都会产生海量的数据,它的数据往往是PB级的, 1个PB有多大呢?它相当于2的50次方个字节。如果你对此没有概念,那么简单来说，《史记》约有52万多汉字，1个PB能够存储至少10亿部《史记》, 以百度、腾讯、阿里为代表的企业。传统的一个生产制造工厂三个月制造的数据也不到100G。这是天大的一个差别。

数据分析的目的不同

互联网行业会对这些网络大数据做数据分析,挖掘,无论是过去的数据还是即时的数据,数据不再是静止和陈旧的,任何被遗忘在服务器中的数据,都可能被重新利用,从而发现其中与我们、与行为、与现象的相关性,比如：
谷歌公司每天都会收到来自全球超过30亿条的搜索指令,经过多年数据的累计,谷歌公司建立了“咳嗽"，“发热”等搜索关键字与流感地区的联系,于是在2009年谷歌成功地在美国预测了冬季流感的传播,并且精确到地区和州等等。而传统行业则不会过多去关注过去的数据,一般月底会盘点 ,出一些财务的数据分析报表,历史的数据会存放于备份库里,有问题才会去查找。

数据获取方式的质变

数据获取方式的质变是大数据能够产生的核心要素。对传统数据的获取方式多是以人工的方式获取数据，最大的特点是手动输入数据。传统记录数据的方式只能是小范围的，少量的和准确度欠佳的。而现在的数据获取方式大多是通过URL传输和API接口，大体上数据获取的方式有这样几类：爬虫抓取、用户留存、用户上传、数据交易和数据共享。

价值差异

网络大数据与传统数据的核心差异在于其价值的不可估量。传统数据的价值体现在信息传递与表征，是对现象的描述与反馈，让人通过数据去了解数据。而网络大数据是对现象发生过程的全记录，通过数据不仅能够了解对象，还能分析对象，掌握对象运作的规律，挖掘对象内部的结构与特点，甚至能了解对象自己都不知道的信息。

在数据大爆炸的互联网时代，数据的类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据。结构化最常见，就是具有模式的数据。非结构化数据是数据结构不规则或不完整，没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML, HTML、各类报表、图像和音频/视频信息等等。网络大数据采集，是大数据分析的入口，所以是相当重要的一个环节。

传统数据采集的不足

传统的数据采集来源单一，且存储、管理和分析数据量也相对较小，大多采用关系型数据库和并行数据仓库即可处理。对依靠并进行计算提升数据处理速度方面而言，传统的并行数据库技术追求高度一致性和容错性，根据CAP理论，难以保证其可用性和扩展性。

契合时代的数据采集方法：网络数据采集

网络大数据采集是指通过网络爬虫或网站公开API等方式从网站上获取数据信息。该方法可以将非结构化数据从网页中抽取出来，将其存储为统一的本地数据文件，并以结构化的方式存储。它支持图片、音频、视频等文件或附件的采集，附件与正文可以自动关联。除了网络中包含的内容之外，对于网络流量的采集可以使用DPI或DFI等带宽管理技术进行处理。

互联网极大地改变了人们的生活,大量、高速、多变的信息每天都围绕在人们身边,我们需要更好的处理方式，去应对这种随时随地的变化。作为成都本土专业的DaaS服务商（数据即服务），我们推出网络大数据采集系统，集数据采集、数据管理分析、数据交换共享为一体，实现数据从采集，处理到应用的全生命周期管理。为政府、医疗、交通、旅游、金融、教育、企业等多个领域提供高效的大数据整体应用解决方案。