大数据的学习总结（2）--大数据基础知识

现在全球数据量以每年60%的速度增长，预计2020年，数据量将进入ZB时代。而大数据的应用又十分的广泛，无论是在学术研究、生产实践、公司战略、国家治理等各个方面都具有非同寻常的意义。因此对大数据的学习和研究是必不可少的。

大数据的核心目标
利用好数据实现大数据的高效存储管理和高价值的挖掘分析

大数据三层结构

大数据的计算和处理
大数据的存储和管理
大数据的采集和预处理

总的来说，大数据向下要使用和管理好各种介质，向上要满足各种大数据的处理和计算需求。

大数据所面临的主观挑战

数据量大，从中找出所需要的价值并不容易。
数据的种种特性给数据的存储和管理带来了很大的困难。例如：多样性、实时性、不确定性，关联性

大数据所面临的客观挑战

数据的爆发性增长，给企业带来了一定的成本压力。
技术的不断发展，对从业人员提出更高的要求，从而带来各种管理和结构上的问题。

分布式
大数据采用分布式架构的方式，分布式有可扩展、高可靠、低成本的优点。

分布式所面临的挑战

同时性：如何保证在线服务的同时，保证数据的一致性和并发性
可靠性：在发生设备故障时，如何保证既有的业务不受影响。
差异性：采用分布式的架构，各个设备性能可能并不一致，如何进行负载均衡，保证可靠的同时，降低成本。

分布式的主要问题

实现在线事物处理的同时，保证数的一致性和并发性
针对不同的大数据处理，分析和查询，进行有效存储的布局和优化
在保证运行可靠的情况下，如何降低成本
针对更新频繁的数据，如何进行存储和处理

大数据的学习总结（2）--大数据基础知识相关推荐

大数据的学习需要预先了解哪些基础知识？
计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据 ...
（数据科学学习手札45）Scala基础知识
一.简介由于Spark主要是由Scala编写的,虽然Python和R也各自有对Spark的支撑包,但支持程度远不及Scala,所以要想更好的学习Spark,就必须熟练掌握Scala编程语言,Scal ...
Android音视频学习系列(五) — 掌握音频基础知识并使用AudioTrack、OpenSL ES渲染PCM数据
系列文章 Android音视频学习系列(一) - JNI从入门到精通 Android音视频学习系列(二) - 交叉编译动态库.静态库的入门 Android音视频学习系列(三) - Shell脚本入门 ...
Android音视频学习系列(六) — 掌握视频基础知识并使用OpenGL ES 2.0渲染YUV数据
系列文章 Android音视频学习系列(一) - JNI从入门到精通 Android音视频学习系列(二) - 交叉编译动态库.静态库的入门 Android音视频学习系列(三) - Shell脚本入门 ...
Wireshark数据抓包教程之Wireshark的基础知识
Wireshark数据抓包教程之Wireshark的基础知识 Wireshark的基础知识在这个网络信息时代里,计算机安全始终是一个让人揪心的问题,网络安全则有过之而无不及.Wireshark作为国 ...
DL：深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介.基础知识(神经元/感知机.训练策略.预测原理).算法分类.经典案例应用之详细攻略目录深度学习(神经网络)的简介 1.深度学习浪潮兴起的三大因素深度学习(神经网络 ...
JDBC 学习笔记（一）—— 基础知识 + 分页技术
2019独角兽企业重金招聘Python工程师标准>>> 本文查阅方法: 1.查阅目录 -- 查阅本文目录,确定想要查阅的目录标题 2.快捷"查找" ...
MATLAB学习笔记2：MATLAB基础知识（下）
阅读前请注意: 1. 该学习笔记是华中师范大学HelloWorld程序设计协会2021年寒假MATLAB培训的学习记录,是基于培训课堂内容的总结归纳.拓展阅读.博客内容由 @K2SO4钾撰写.编辑, ...
学习光盘刻录必备基础知识
学习光盘刻录必备基础知识 2011年04月11日 [b] 学习光盘刻录必备基础知识[/b] 日期:2009-10-10 11:04 1.什么是CD-R? CD-R就是光盘刻录片(CD Recordab ...
pwn学习总结（二） —— 基础知识（持续更新）
pwn学习总结(二) -- 基础知识(持续更新) Canary PLT表&GOT表格式化字符串漏洞 GCC编译参数 ASLR 危险函数输入流 syscall条件 shellcode 其它 ...

大数据的学习总结（2）--大数据基础知识

大数据的学习总结（2）--大数据基础知识相关推荐

最新文章

热门文章