环境信息：

1.1 软件环境

软件名称

版本

TBase

TBase_V2.15.10.1

JDK

1.8.0_40

Hadoop

3.3.0

1.2 硬件环境

节点

IP

端口

CN1

协调节点

(

主

)

172.21.64.4

11379

CN2

协调节点

(

主

)

172.21.64.14

11379

CN1

协调节点

(

备

)

172.21.64.14

11300

CN2

协调节点

(

备

)

172.21.64.5

11300

DN1

数据节点(主)

172.21.64.4

11002

DN1

数据节点(备)

172.21.64.5

11006

DN2

数据节点(主)

172.21.64.14

11002

DN2

数据节点(备)

172.21.64.5

11004

Hadoop namenode/datanode

172.21.32.18

9000

TBase

集群拓扑结构

2. 配置Hadoop

2.1 配置HDFS

在172.21.32.18机器上安装hadoop的namenode和datanode，构建hdfs系统。

2.1.1 解压hadoop安装包

连接hadoop服务器 172.21.32.18

tar -zxvf hadoop-3.3.0.tar.gz -C /usr/local/

2.1.2 配置core-site.xml如下

2.1.3 配置hdfs-site.xml

cat /usr/local/hadoop-3.3.0/etc/hadoop/hdfs-site.xml

2.1.4 配置JAVA环境变量

tar -xf jdk-8u40-linux-x64.gz -C /usr  /local

vi /etc/bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_40

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop-3.3.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##生效环境变量

source /etc/bashrc

2.1.5 配置hadoop-env.sh

设置JAVA环境变量。

vi /usr/local/hadoop-3.3.0/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_40

2.1.6 格式化namenode

mkdir -p /hd/dfs/{data,name}

###chmod -R 777 /hd/

hadoop namenode -format

2.1.7 启动namenode/datanode

WARNING: Use of this script to start HDFS daemons is deprecated.

WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

WARNING: Use of this script to start HDFS daemons is deprecated.

WARNING: Attempting to execute replacement "hdfs --daemon start" instead.

1297 Jps

1257 DataNode

1116 NameNode

2.1.8 安装hadoop客户端

在TBase集群上安装hadoop客户端，以下操作需要在

172.21.64.4,

172.21.64.5,

172.21.64.14

上完成。

--

配置

JAVA

和

Hadoop

环境变量

tar -xf jdk-8u40-linux-x64.gz -C /usr  /local

vi /etc/bashrc

export JAVA_HOME=/usr/local/jdk1.8.0_40

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/usr/local/hadoop-3.3.0

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

##生效环境变量

source /etc/bashrc

解压

JAVA

和

HADOOP

安装包

tar -zxf hadoop-3.3.0.tar.gz -C /usr/local/

tar -xf jdk-8u40-linux-x64.gz -C /usr/local/

2.1.9

创建备份文件夹

--

在

HDOOP

服务器

(172.21.32.18)

上执行

hadoop dfs -mkdir hdfs://172.21.32.18:9000/backup/

hadoop dfs -chown tbase:tbase hdfs://172.21.32.18:9000/backup/

--

在

TBase

集群上执行

(

随便找一个节点都可以

)

--

创建测试文件

dd if=/dev/zero of=disk1 bs=1M count=1024

--

将测试文件上传到

hdfs

系统中

hadoop dfs -copyFromLocal disk1 hdfs://172.21.32.18:9000/backup/

--

查看文件

3. 配置TBase备份策略

用数据库实例管理员登陆OSS系统，运维管理->备份管理

修改备份策略

修改hdfs地址，(hdfs://172.21.32.18:9000/backup/).根据需求设置其他备份策略。

--

修改备份策略需要输入数据库管理员密码。

4. 增量备份

全量备份打开之后增量备份会自动开启，wal日志产生之后会自动进行增量备份。增量备份脚本为：

pg_xlog_archive.sh. 日志：pg_log/xlog_arch_${date}.log

备份路径：

5. 数据恢复

备份管理->数据恢复->创建恢复任务

5.1 选择要恢复的时间点

时间选择完成后，在可恢复时间点中会列举出当前集群可以恢复到的时间点。

5.2 配置目标集群

5.3 验证数据

成功之后查看详情。

刷新web界面，可以看到新创建的实例re_sales

查看

re_sales

实例。

登陆恢复的实例，数据正常恢复。

(

这个实例没有备节点，如果需要备节点，需要手动创建

)

问题汇总

6. 备注

6.1 常见问题&解决方案

6.1.1 保存备份策略时报错

Hadoop command not found

解决方案：重启OssCenter

[root@VM-64-14-centos tbase_mgr]# ./tbase_mgr.sh restart OssCenter

6.1.2在TBase集群中向hdfs中上传文件无权限。

解决办法: 在hadoop集群中更改目录权限信息hadoop dfs -chown

tbase:tbasehdfs://172.21.32.18:9000/backup/。