hbase

hadoop里面有：1）hdfs分布式存储 2）yarn资源调度框架；3）hive数据仓库技术，在线事物分析，延迟性很高，最终用的还是mr技术，但是不再使用mr技术了
4）hbase:建立在hadoop上面的数据库技术，随机定位+实时读写，业务是分布式的，但是最终还是存储在hasoop上面的
要实现自动容灾，就需要引进zookeeper

zookeeper

1.管理大量主机的协同服务，轻量级的
2.分布式应用，实现了分布式读写技术
3.zk提供的服务有哪些？1):名称服务Naming service,按照名称来区分集群中的主机2):配置管理Configuration management //针对新加入节点的最新化处理3):集群管理Cluster management   //实时感知集群中节点的增减4):Leader election      //leader follower5):Locking and synchronization service //修改时来 锁定数据，实现容灾6）：Highly reliable data registry        //节点宕机数据也是可用的

zk的安装（单机版，装在s200上面）

1.jdk
2.下载zookeeper-3.4.10。tar.gz,下载地址：http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/
3.tar开
4.符号连接，环境变量$>ln -s zookeeper-3.4.10 zk
5.配置zk,复制zoo.cfg.sample-->zoo.cfg[zk/conf/zoo.conf]# The number of milliseconds of each ticktickTime=2000# The number of ticks that the initial# synchronization phase can takeinitLimit=10# The number of ticks that can pass between# sending a request and getting an acknowledgementsyncLimit=5# the directory where the snapshot is stored.# do not use /tmp for storage, /tmp here is just# example sakes.dataDir=/home/centos/zookeeper# the port at which the clients will connectclientPort=2181# the maximum number of client connections.# increase this if you need to handle more clients#maxClientCnxns=60## Be sure to read the maintenance section of the# administrator guide before turning on autopurge.## http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance## The number of snapshots to retain in dataDir#autopurge.snapRetainCount=3# Purge task interval in hours# Set to "0" to disable auto purge feature#autopurge.purgeInterval=1
6.启动zk服务器$>bin/zkServer.sh start
7.验证zk$>netstat -anop|grep 2181
8.启动客户端连接到服务器$>zkCli.sh -server s200:2181    //就直接进入到zk的命令行下面$zk]help        //查看帮助$zk]quit        //退出$zk]create /a tom   //创建过程,每次创建都要写数据$zk]ls /        //得到[a,zookeeper]$zk]get /a              //查看数据create /a/a1 jerry;get /a/a1       //查看数据set /a tomas ;//修改节点数据delete /a/a1;       //删除一个节点rmr /a         //递归输出节点

zk架构

1.Client
从server获取信息，周期性发送给server，表示自己还活着
当client连接时，server回传ack信息，如果客户端没有收到响应，就会重定向到另一个server
2.Server.zk集群的一员，向client提供所有service，向客户端发送确认信息表示服务器还活着
3.ensemble一组服务器，最小的节点数是3
4.leader.如果任何被连接的节点发生故障，自定恢复，zk服务启动时，完成leader的选举
5.Follower.遵循leader管理的的服务节点

znode

zk中的节点，维护了stat的状态。
由version number,Action Control List,Timestamp,Data length组成
version number:数据写入过程的变化ACL     //action control list,访问控制列表

节点类型

1.持久节点：永久性节点，client退出还存在
2.临时节点：在客户端活跃时有效，断开后自动删除。临时节点不能有子节点，在leader推选的时候扮演重要角色create -e /b/e1 tom0;//建立一个临时节点
3.序列节点：在节点名之后副驾10个数字，主要用于同步和锁

Session

Session中，会话的请求是按照先进先出的顺序执行的，一旦client连接到server，那么这个session就建立了，那么sessionId就分配给客户端了client以固定间隔向server发送心跳，表示session是valid的，
zk集群如果在超时的时候，没有收到心跳，就判定为client挂了
与此同时，临时节点就被删除了

Watch

观察者模式
Client能够通过watch机制在数据发生变化时收到通知
client能够在read节点的时候设置观察者。watch机制针对节点的变化会发送通知给注册的客户端程序
观察模式只触发一次。如果session过期，那么观察者就会被删除

zk工作流程
-----------------------、
zk集群启动后，客户端连接到其中的一个节点，这个节点可以是leader,也可以是follower
连通之后，node会分配一个id给client，发送ack信息给客户端，如果客户端没有收到ack确认，
如果客户端没有收到ack,连接到另外一个节点
客户端周期性发送心跳信息给节点保证连接不会丢失

 如果客户端读取数据，发送请求给节点node,node读取自己的数据库，返回节点数据给client如果client存储数据，将路径和数据发送给server,server转发给leader,leader将会补发所有的请求给follower,只有大多数的节点成功响应，则写操作就成功

单机版

文件系统层级结构存储
path:/home/centos/xxx=znode.节点上可以关联数据，数据可以是任何数据，但是数据大小不能超过1m
节点的类型1.永久节点2.临时节点3.序列节点数据状态：版本。

leader+flower.

读：
写：

leader推选过程(最小号选举法)

1.所有节点在同一目录下面创建临时序列节点
2.zk会添加10位的序列号到路径后面，并且znode会是xxx/xxx00000000001
3.对于给定的例子，在所有znode节点中，创建最小号的节点会成为leader,所有其他节点会成为follower
4.每个节点会观察小于自己节点的主机(注册观察者)
5.如果leader挂了，对应的znode就会被删除了
6.观察者就会收到通知

配置完全分布式zk集群

1.挑选3台主机
s200-s202
2.每台机器都安装zk
3.配置zk配置文件s200-s202[/soft/zk/conf/zoo.cfg]autopurge.purgeInterval=1dataDir=/home/centos/zookeeper4.在每台主机的/home/centos/zookeeper中添加myid,内容分别是1,2,3
[s200]
$>echo 1 >/home/centos/zookeeper/myid
[s201]
$>echo 2 >/home/centos/zookeeper/myid
[s202]
$>echo 3 >/home/centos/zookeeper/myid5.启动服务器集群
在每台主机上执行：$>zkServer.sh start
6.查看每台服务器的状态$>zkServer.sh status
7.修改zk的log目录