一文读懂物联网大数据产业链

原文地址

大数据开启了一个大规模生产、分享和应用数据的时代，它给技术和商业带来了巨大的变化。麦肯锡研究表明，在医疗、零售和制造业领域，大数据每年可以提高劳动生产率0.5-1个百分点。物联网时代，大数据在核心领域的渗透速度有目共睹。大数据的产业链可分为标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维以及数据应用几个环节，覆盖了数据从产生到应用的整个生命周期。　

　数据标准与规范
　　大数据标准体系是开展大数据应用的前提条件，没有统一的标准体系，数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面，参与单位主要包括中国电子技术标准化研究院、各个数据库公司、数据拥有部门以及各个行业的标准化组织。
　　数据安全
　　随着海量数据的不断增加，对数据存储和访问的安全性要求越来越高，从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。另外，由于大数据处理主要采用分布式计算方法，这必然面临着数据传输、信息交互等环节，如何在这些环节中保护数据价值不泄露、信息不丢失，保护所有站点的安全是大数据发展面对的重大挑战。在大数据时代，传统的隐私数据内涵与外延有了巨大突破和延伸，数据的多元化与彼此的关联性进一步发展，使得对单一数据的隐私保护方法变得极其脆弱，需要针对多元数据融合的安全提出。在数据安全环节上主要参与单位包括中国电子科技集团公司第30研究所以及奇虎 360、瑞星等杀毒软件公司。
　　数据采集
　　政府部门、以 BAT 为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外，利用网络爬虫或网站公开 API 等途径对网络数据进行采集也是大数据的主要来源。现实世界中的数据大多不完整或不一致，无法直接进行数据挖掘或挖掘结果不理想，需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作，并且往往需要大量的人工参与，因此数据采集和清洗成为大数据产业链的一个重要环节。
　　数据存储与管理
　　大数据存储与管理的主要参与者以传统数据库企业为主，国际上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等; 国内主要有中兴、华为、用友、浪潮、托尔思、数据堂、九次方、亿赞普、达梦等。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究，形成针对具体领域的产品。
　　数据分析与挖掘
　　大数据分析与挖掘的意图主要集中在两方面：一是从大量的机构结构化和半结构化数据中分析出计算机可以理解的语义信息或知识，二是对隐性的知识，如关联情况、意图等进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。数据分析与挖掘的核心算法与软件主要掌握在大型数据库公司及高校的手里，国际上主要参与者包括 IBM、甲骨文、微软、谷歌、亚马逊、Facebook 等，国内主要参与单位包括数据库企业、高校、以 BAT 为代表的大型互联网企业等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围，是大数据产业的核心。
　　数据运维
　　由于数据的重要性得到普遍认可，除政府部门不具备数据运维服务条件外，数据的采集者通常就是数据运维者。各地政府方面则通常利用大数据平台建设来推动政府大数据的公开与共享，如云上贵州，吸引个人和企业用户开展创新与创业，积极推动大数据的增值服务。
　　数据应用
大数据对传统信息技术带来革命性挑战，正在重构信息技术体系和产业格局。国内以阿里巴巴、百度、腾讯、人大金仓、浪潮、曙光、南大通用为代表的互联网企业、云计算和数据库厂商纷纷加大应用推广力度，在国际先进的开源大数据技术基础上，形成独自的大数据平台构建和应用服务解决方案，以支撑不同行业不同领域的专业化应用。虽然这些企业在平台构建上有着得天独厚的优势，但是在某些具体业务领域，并不擅长或者关切。物联网解决方案提供商航大物联（www.leadtorch.com）发现传统企业以及从事大数据的微型企业是具体业务领域上大数据应用的主力军。应用是大数据价值的体现，是大数据发展的原始推动力。当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变，在转变思维过程中需要积极转变思维，明确出数据共享的方式是什么，数据拥有者的利益如何平衡，商业模式如何开展等等。

在大数据时代背景下，让人们越发认识到，比掌握庞大的数据信息更重要的是掌握对含有意义的数据进行专业化处理的技术。如果将大数据比作一种产业，那么这产业盈利的关键点在于，提高对数据的“加工能力”，通过“加工”实现数据的“增值”，这便是大数据关键技术发挥的能力。

原文地址

一文读懂物联网大数据产业链相关推荐

一文读懂十大数据存储加密技术
数据作为新的生产要素,其蕴含的价值日益凸显,而安全问题却愈发突出.密码技术,是实现数据安全最经济.最有效.最可靠的手段,对数据进行加密,并结合有效的密钥保护手段,可在开放环境中实现对数据的强访问控制, ...
一文读懂物联网 MQTT 协议之实战篇
一.前言上一篇我们介绍了 MQTT 协议格式以及相关的特性:一文读懂物联网 MQTT 协议之基础特性篇,这一篇我们就来实战一番,理论得与实践结合,方能吃透 MQTT. 我的那个读者还提到了讲一下 M ...
一文读懂：本地数据湖丨数据仓库丨云数据湖的利与弊
数据湖指的是一个中心位置,大量数据以原始的.非结构化的格式存储,其中包含有关数据和惟一标识符的信息.它们存储的数据可以稍后进行处理,以提取有价值的业务见解并推动业务向前发展. 这种类型的灵活组织允许存 ...
一文读懂物联网、云计算与大数据的关系
阅读原文请点击摘要: 物联网是万物互联,基于互联网为人们提供更便捷.快速服务,物联网首先是基于互联网,把最底层设备的数据采集上来,供人们分析.处理.云服务是由于大数据的产品而逐渐形成的,当越来越多的 ...
一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别！
点击上方,选择星标或置顶,不定期资源大放送! 阅读大概需要15分钟 Follow小博主,每天更新前沿干货作者:Vincent Granville 来源:机器之心公众号链接:http://www.d ...
读懂这本书，才算读懂阿里大数据
2019年,是阿里巴巴第11个双11.众所周知,阿里的电商在线体系经过多年发展,可以支持峰值超过每秒50几万笔交易.但鲜有人知的是,海量的交易,创造了海量的数据,爆炸性的数据量激增,给狂欢过后的大数据 ...
从1维到6维，一文读懂多维数据可视化策略
本文经机器之心(微信公众号:almosthuman2014)授权转载,禁止二次转载选自towardsdatascience 作者:Dipanjan Sarkar 参与:Jane W.乾树.黄小天数 ...
一文读懂数据仓库、数据湖、湖仓一体
目录 1.数据仓库数据仓库的特征 2.数据湖数据湖的特征数据仓库和数据湖的对比 3.湖仓一体湖仓一体的特征湖仓一体的优势智能湖仓数据仓库.数据湖.湖仓一体对比 1.数据仓库数据仓库,英 ...
一文读懂5大云厂商有什么不同
全球公有云计算市场的领导地位竞争是激烈的三方竞争:AWS vs Azure vs Google,国内市场则是阿里云.腾讯云和AWS.对于基础架构即服务 (IaaS) 和平台即服务 (PaaS),亚马逊 ...

一文读懂物联网大数据产业链

一文读懂物联网大数据产业链相关推荐

最新文章

热门文章