《大数据日知录》读书笔记 + 回顾补充（20190716

0

大数据量

大数据处理的基本架构图

存储

数据库，分布式文件系统，NoSQL

比如对于社交网络数据的存储就更适合使用图数据库；对于实时响应要求高的场合使用HBase等列式数据库更好；对于海量批处理使用Hadoop(HDFS + MapReduce)

1数据分片与路由

纵向扩展 Scale Up
横向扩展 Scale Out
分片 Shard/Partition
将数据切分并分配到各个机器中去
路由 Routing
数据分片后，如何找到某条记录的具体位置，这个必然要解决的问题称为路由

分片与复制，保证高可用

数据复制后需要解决的问题：并发更新时如何保证数据的一致性等等问题

抽象模型（数据记录->分片->机器存储）

某条记录 -》某个分片（key - partition 映射）
某个分片 -》某个机器（partition - machine 映射）

点查询，常见的Hash映射
范围查询

Hash分片

Round Robin

哈希取模，扩展性低

虚拟桶 Virtual Bucket

数据记录 -》虚拟桶（hash映射）
虚拟桶 -》机器（内存表）

一致性哈希 Consistent Hashing

负载均衡
虚拟节点，兼顾机器差异

范围分片

LSM Tree

2 数据复制与一致性

CAP

《大数据日知录》读书笔记 + 回顾补充（20190716 - 2019MMdd）相关推荐

《BIG DATA大数据日知录架构和算法》读书笔记
2019独角兽企业重金招聘Python工程师标准>>> <BIG DATA大数据日知录架构和算法>读书笔记博客分类: 架构分布式计算 1.数据分片和路由 Hash ...
《大数据日知录：架构与算法》前言
<大数据日知录:架构与算法>前言像移动互联网.O2O.可穿戴设备等概念一样,"大数据"从甫一提出到飓风般席卷并风靡全球,从最初的技术名词到形成渗透各行各业的社会 ...
大数据日知录：架构与算法
大数据丛书大数据日知录:架构与算法(大数据领域专家力作,专注大数据架构和算法,全面梳理大数据相关技术) 张俊林著 ISBN 978-7-121-24153-6 2014年9月出版定价:69. ...
大数据丛书大数据日知录：架构与算法
大数据丛书大数据日知录:架构与算法(大数据领域专家力作,专注大数据架构和算法,全面梳理大数据相关技术) 张俊林著 ISBN 978-7-121-24153-6 2014年9月出版定价:69. ...
大数据日知录要点整理
大数据日知录要点整理第0 章当谈论大数据时我们在谈什么 1 NOSQL选型:kv-cassandra.dynamo,列式存储-HBase,图存储-Neo4j 社交网络数据存储适合用图数据库,而实 ...
博主新书：《大数据日知录：架构与算法》目录
<大数据日知录:架构与算法>目录 4目录编辑第0 章当谈论大数据时我们在谈什么................ 1 0.1 大数据是什么........................ ...
大数据日知录_腾讯T4专家精心整理：java+大数据+机器学习+数据挖掘+算法大集结...
前言本篇文章总共八大部分组成,包括数据挖掘:概念.模型.方法和算法:大数据日知录:架构与算法:大数据算法:数据结构与算法经典问题解析:算法基础:打开算法之门:机器学习算法大集结:Java数据结构和算 ...
好书推荐--大数据日知录（深入理解大数据的必备书籍）附电子版下载
今天给大家推荐一本大数据领域中必读的一本书,名字叫<大数据日知录-架构与算法> 这本书正如它封面中介绍的一样,全面梳理大数据相关技术,从数据.算法.策略.应用和系统架构等多个维度进行剖析, ...
从《大数据日知录》的目录想到的学习路径
第0 章当谈论大数据时我们在谈什么................ 1 第1 章数据分片与路由......................................9 第2 章数据复制与一 ...
大数据日知录（一）数据分片与路由
概念目前主流的大数据存储与计算系统通常采用横向扩展(Scale Out)的方式支持系统可扩展性,即通过增加机器数目来获得水平扩展能力.对于待存储处理的海量数据,需要通过数据分片(Shard/ ...

《大数据日知录》读书笔记 + 回顾补充（20190716 - 2019MMdd）

0