【大数据论文笔记】大数据技术研究综述

大数据的基本概念：

1.大数据的产生

a.科学研究

b.物联网的应用

c.海量网络信息的产生

2.大数据概念的提出

3.大数据的“4V”特征

a.Volume（容量大）：大数据巨大的数据量与数据完整性

b.Variety（种类多）：要在海量、种类繁多的数据间发现其内在关联

c.Velocity（速度快）：更快地满足实时性需求

d.Value（价值密度低）：将信息转化为知识

4.大数据的应用领域

a.商业

b.金融

c.医疗

d.制造业

大数据的处理流程

1.数据采集

2.数据处理与集成（过滤）

3.数据分析（核心）

4.数据解释（数据可视化）

大数据关键技术

1.云计算和MapReduce

云计算：

a.服务IaaS

b.平台即服务PaaS

c.软件即服务SaaS

MapReduce：

2.分布式文件系统

GFS：主要采取主从结构（Master-Slave）,通过数据分块、追加更新等方式实现海量数据的高速存储

3.分布式并行数据库

BigTable：

NOSQL：

4.开源实现平台Hadoop

5.大数据可视化

大数据带来的挑战：

1.大数据的安全与隐私问题

2.大数据的集成与管理问题

a.数据存储

b.数据清洗

3.大数据的IT技术架构问题

a.大数据分析技术

b.数据融合

c.大数据能耗问题

4.大数据的生态环境问题

转载于:https://www.cnblogs.com/XBWer/p/4016114.html

【大数据论文笔记】大数据技术研究综述相关推荐

论文笔记--跨模态检索研究综述-2018
论文信息: 期刊论文-跨媒体检索研究综述-2018-欧卫华文末部分参考文献附有论文下载链接,并提供了本论文下载地址转载本文请添加以下引用: 作者:lingpy 本文链接:https://blog. ...
caj文件打不开显示内存不足_面向大数据的高效存储容量缩减技术研究
面向大数据的高效存储容量缩减技术研究 [摘要]:随着信息化的发展,全球数据量呈指数式增长,数据中心存储规模快速迈向了PB级甚至是EB级,其中包含了大量的冗余数据.这些冗余数据占用了大量的存储资源,导致 ...
数据资产价值评估与定价：研究综述和展望
点击上方蓝字关注我们数据资产价值评估与定价:研究综述和展望尹传儒1,2, 金涛1,2, 张鹏1,3, 王建民1,2, 陈嘉一1,3 1 清华大学-中国人寿财产保险股份有限公司工业安全大数据联合研究 ...
《拜占庭系统技术研究综述_范捷》笔记
<拜占庭系统技术研究综述_范捷>笔记文献信息:清华大学,期刊,2013,范捷 Abstract 分析了目前拜占庭系统的研究现状,并探讨了拜占庭系统的发展趋势 Conclusion 成果涌 ...
论文简读《视听觉深度伪造检测技术研究综述》
<视听觉深度伪造检测技术研究综述> 概述: 深度学习被广泛的应用于各个领域,自然语言处理.计算机视觉.无人驾驶等,推动了人工智能的发展.但在带来好处的同时,也对信息安全方面也有一定 ...
【论文翻译】卷积神经网络研究综述
论文题目:卷积神经网络研究综述论文来源:卷积神经网络研究综述翻译人:BDML@CQUT实验室卷积神经网络研究综述 Review of Convolutional Neural Network 周 ...
数字水印技术研究综述
数字水印技术研究综述引言信息媒体的数字化为信息的存取提供了极大的便利性,同时也显著提高了信息表达的效率和准确性.特别是随着计算机网络通讯技术的发展,数据的交换和传输变成了一个相对简单的过程,人们借 ...
区块链技术研究综述：原理、进展与应用
来源:区块链技术研究综述:原理.进展与应用期刊:通信学报. #blockchain 相当于对区块链先进行一个系统的了解吧区块链的层次化技术结构. #未解决的问题上述文献虽然归纳得较为 ...
读“基于深度学习的图像识别技术研究综述”有感
"基于深度学习的图像识别技术研究综述"总结现在流行的图像识别技术都是基于深度学习的算法,经过前辈们的探索改进,图像识别技术经历很多阶段,现如今图像识别技术已经广泛的应用于生活的方 ...

【大数据论文笔记】大数据技术研究综述

【大数据论文笔记】大数据技术研究综述相关推荐

最新文章

热门文章