张俊林著
2014年9月 第1版
IBM 用 3V ，大容量（Volume），多形式（Variety）从数据的类型角度来看，高速率（Velocity）数据产生效率的实时性角度。
后又加一个：Value 价值密度低的数据。
数据备份，三份
CAP 主义：Consistency/ Availability/ Partition Tolerance
强一致性，可用性，分区容忍性
不可兼得，只能放弃一个，保证另二个。
Eric Brewer 于 1999年提出。
于 2012年又发表文章
ACID 原则
原子性，一致性，事务独立，持久性
BASE 原则
基本可用，软状态或者柔性状态（不要求数据任意时刻都完全保持同步），最终一致性
幂等性（Idempotent）
分布式中的定义是：调用方反复执行同一操作与只正确执行一次操作效果相同。
强一致性，弱一致性，最终一致性，因果一致性，“读你所写”一致性，会话一致性，单调读一致性，单调写一致性。
副本更新
同时更新，主从式更新（同步方式，异步方式，混合方式），任意节点更新。
两阶段提交协议
一，表决阶段
二，提交阶段
RWN协议（亚马逊）
N 在分布式存储系统中，有多少份备份数据。
W：一次成功的更新操作要有至少 W 份数据写入成功
R：一次成功的更新操作要有至少 R 份数据成功读取。
R + W > N
Paxos 协议
一致性协议
没有可证明的协议实现，其论文原则是证明的。但难度大，程序实现则没有。
1，副本状态机模型（Replicated State Machines）
2, Paxos 基本概念
单Paxos
多 Paxos
3，Paxos 一致性协议
4，Raft 协议
布隆过滤器（Bloom Filter)
二进制向量数据结构，有很好的空间和时间效率。用来检测某个元素是否是巨量数据集合中的成员。
无法删除集合成员，只能增加成员
Snappy 是 google 开源出的高效数据压缩与解压缩算法库，目标是在合理的压缩率基础上追求尽可能快的压缩和解压缩速度。
单核 250MB/s 压缩，500MB/s 解压缩。
Snappy 是基于 LZSS 算法的。
LZSS 是 LZ77 的优化算法。
是一种动态词典编码，思路：文本中的词用它在词典中表示位置的号码代替的无损数据压缩方法。
Cuckoo 哈希 于 2001 年提出，有效解决哈希冲突问题。
在 O(1) 时间复杂度查找和删除数据。
在常数时间内插入数据。
50%哈希空间利用率。
列式数据库
全球的数据部署，千亿级别的数据规模，极低的数据读/写延迟，类 SQL 操作接口，分布式事务支持。
RNUTS 支持多数据中心部署
区域：Region 
流式计算
主从模式，P2P
交互式数据分析
Hive
Shark
Dremel
机器学习
1，服务层客户端
2，服务层
3，HDFS
4, Hadoop
5,( 3, 4, )  支持下计算层
6，Config
Oryx 体系结构
读起来非常好的书，虽然篇副不大，但每字每句都恰到好处。

读《大数据日知录架构与算法》相关推荐

  1. 读《Android 安全架构深究》

    Android 安全架构深究 安全是一个非常立体而丰富得概念.在不同的场景下,安全有着不同的含义. 比如对于网络传输,安全指的是传输的数据不会被其他人看到.篡改.伪造及仿冒,传输的数据不会遭到破坏,数 ...

  2. 《最强Android书 架构大剖析》读书笔记

    文章目录 第一章 Android 体系结构的变革之路 1.2 Android系统源码目录 与Linux的异同 Android的框架 原生二进制可执行文件 Android 的原生库 核心(core)库 ...

  3. Android Jetpack架构组件之 Room（使用、源码篇）

    2019独角兽企业重金招聘Python工程师标准>>> 1.前言 最近简单看了下google推出的框架Jetpack,感觉此框架的内容可以对平时的开发有很大的帮助,也可以解决很多开发 ...

  4. 抖音、美团等大厂千万级用户的Android客户端架构演进之路—

    在移动开发中,对开发者来说不同的人具有不同的能力.就像读一本书一样,一千个读者,有一千个哈姆雷特.但不管怎样,只要你是个软件开发者你就必须学习windows或Linux等操作系统的运行原理.Andro ...

  5. Android 图形架构之一 ——概述

    前言 本系列的文章,可以让你明白,一个View最终是如何显示到屏幕上的,从应用层到硬件抽象层.对分析app的卡顿,掉帧等 有很大帮助. 由于图形架构的涉及到的代码量很大,所以本篇先来个总体的概述,有个 ...

  6. Android display架构分析-SW架构分析(1-8)

    参考: Android display架构分析二-SW架构分析 Android display架构分析三-Kernel Space Display架构介绍 Android display架构分析四-m ...

  7. 高通Android display架构分析

    目录(?)[-] Kernel Space Display架构介绍 函数和数据结构介绍 函数和数据结构介绍 函数和数据结构介绍 数据流分析 初始化过程分析 User Space display接口 K ...

  8. [Android] Android MVP 架构下 最简单的 代码实现

    Android  MVP 架构下  最简单的 代码实现 首先看图: 上图是MVP,下图是MVC MVP和MVC的区别,在于以前的View层不仅要和model层交互,还要和controller层交互.而 ...

  9. Android系统架构-[Android取经之路]

    摘要:本节主要来讲解Android的系统架构 阅读本文大约需要花费10分钟. 文章首发微信公众号:IngresGe 专注于Android系统级源码分析,Android的平台设计,欢迎关注我,谢谢! 欢 ...

  10. Android系统架构图及简单的系统架构介绍

    2019独角兽企业重金招聘Python工程师标准>>> ndroid的系统架构和其操作系统一样,采用了分层的架构.从架构图看,android分为四个层,从高层到低层分别是应用程序层. ...

最新文章

  1. 科技公司狂挖高校AI学者：涸泽而渔还是产学双赢
  2. oracle 安装grid补丁,安装oracle 11.2.0.4.4的psu补丁过程
  3. Python字典的作用与基本操作
  4. DataTables中设置某些列不进行排序
  5. vue --- 2.0响应式补充
  6. python矩阵相关操作
  7. android app打开另一个app并触发按钮_Android进程调度：Low memory killer（4）修改版
  8. 字定义JSON序列化支持datetime格式序列化
  9. linux各文件夹的作用
  10. 安装firefox扩展（xpi）文件的简便方法
  11. STM32串口通信DMA方式
  12. 《UnityAPI.MovieTexture影片纹理》（Yanlz+Unity+SteamVR+云技术+5G+AI+VR云游戏+MovieTexture+audioClip+立钻哥哥++OK++）
  13. ps中怎么调整字体间距
  14. zynqMP LINUX 启动流程和移植
  15. 星空云协同开发入门（一）
  16. 小于等于、 大于等于Mybatis 、oracle
  17. Java Service Wrapper 发布Java程序为Windows服务
  18. 修理TDS1012示波器经验
  19. (附源码)springboot电子病历管理APP 毕业设计 010350
  20. Centos7安装trac手册

热门文章

  1. opencv用特征相似度将图片分类
  2. 大型网站分布式高并发架构设计
  3. Linux pwn入门教程,pwn堆入门系列教程1
  4. hawkhost 不支持mysql_HawkHost老鹰主机账户管理常用技巧及cPanel面板基础应用
  5. SDUT 校赛 D题 魔戒（bfs+四维数组）
  6. python提取字符串中的大写字母、小写字母
  7. 选择应该会从这里开始改变你，眼袋
  8. openstack二次开发：Python API
  9. pyqtgraph设置坐标_PyQtGraph在pyqt中的应用及安装过程
  10. Python代码编写规范-部分(PEP 8编码规范)