1 背景介绍

华为云对象存储服务可以与HBase大数据生态进行对接，为用户提供计算存储分离的大数据解决方案。该方案具备高性能、低成本的优势，且无扩容问题。

本操作指导书旨在帮助华为云用户在开源HBase平台上快速对接OBSFileSystem组件，更好的使用华为云对象存储OBS进行HBase计算。

2 部署视图

2.1 安装版本

硬件：1master+3core（配置：8U32G，操作系统：Centos7.5）

软件：Hadoop 2.8.3、HBase 2.1.0

2.2 部署视图

开源大数据平台已安装完成，本文主要介绍在HBase平台中通过OBSFileSystem组件与OBS进行对接的操作步骤。对接OBS后，用户的数据即可存储在OBS平台，通过HBase进行大数据计算，实现计算存储分离。

3 开源大数据平台对接OBS操作步骤

3.1 HBase平台更新OBSFileSystem

3.1.1 上传obs的jar包

1、从网址https://bbs.huaweicloud.com/forum/thread-12142-1-1.html 中下载OBSFileSystem后进行解压缩，其中Package目录中包含obs所需要的jar包，列表如下：

2、将obs所需要的jar包放在/mnt/obsjar目录中

3.1.2 增加obs的jar包

1、备份并删除hbase-2.1.0所有目录中原有的版本较低的java-xmlbuilder-X.X.jar、okhttp-X.X.X.jar和okio-X.X.X.jar（通过find查找后删除）

命令：

rm -rf /home/modules/hbase-2.1.0/lib/java-xmlbuilder*

rm -rf /home/modules/hbase-2.1.0/lib/okhttp*

rm -rf /home/modules/hbase-2.1.0/lib/okio*

2、将obs的jar包（hadoop-huaweicloud-2.8.3.13.jar、esdk-obs-java-3.0.1.jar、java-xmlbuilder-1.1.jar、okhttp-3.10.0.jar和okio-1.14.0.jar）拷贝到如下各个目录（/home/modules/hbase-2.1.0/lib/）。

命令：

cp /mnt/obsjar/hadoop-huaweicloud-2.8.3.13.jar /home/modules/hbase-2.1.0/lib/.

cp /mnt/obsjar/esdk-obs-java-3.0.1.jar /home/modules/hbase-2.1.0/lib/.

cp /mnt/obsjar/java-xmlbuilder-1.1.jar /home/modules/hbase-2.1.0/lib/.

cp /mnt/obsjar/okhttp-3.10.0.jar /home/modules/hbase-2.1.0/lib/.

cp /mnt/obsjar/okio-1.14.0.jar /home/modules/hbase-2.1.0/lib/.

3.2 HBase平台更新配置文件操作步骤

1、在/home/modules/hbase-2.1.0/conf目录中配置core-site.xml，配置模板如下。

注：fs.defaultFS 、fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint请根据实际情况进行修改。

<property><name>fs.defaultFS</name><value>hdfs://ecs-bigdata-hdtest-0000.novalocal:8020</value></property><property><name>hadoop.tmp.dir</name><value>/home/modules/hadoop-2.8.3/tmp</value></property><property><name>fs.obs.access.key</name><value>myaccesskey</value></property><property><name>fs.obs.secret.key</name><value>mysecretkey</value></property><property><name>fs.obs.endpoint</name><value>myendpoint</value></property><property><name>fs.obs.buffer.dir</name><value>/home/modules/data/buf</value></property><property><name>fs.obs.impl</name><value>org.apache.hadoop.fs.obs.OBSFileSystem</value></property><property><name>fs.obs.connection.ssl.enabled</name><value>false</value></property><property><name>fs.obs.fast.upload</name><value>true</value></property>

2、在/home/modules/hbase-2.1.0/conf目录中配置hbase-site.xml，增加或修改如下property。

注：hbase.rootdir和 hbase.wal.dir请根据实际情况进行修改。

 <property><name>hbase.rootdir</name><value>obs://buckename/hbase</value></property><property><name>hbase.wal.provider</name><value>org.apache.hadoop.hbase.wal.FSHLogProvider</value></property><property><name>hbase.wal.dir</name><value>hdfs://ecs-bigdata-hdtest-0000.novalocal:8020/hbase</value></property>

3、启动HBase即可使用OBS进行计算。

说明：在开源HBase版本中2.1.0版本有一个问题，会导致HBase启动失败。在2.1.1版本中已解决。

修改前：

https://github.com/apache/hbase/blob/rel/2.1.0/hbase-procedure/src/main/java/org/apache/hadoop/hbase/procedure2/store/wal/WALProcedureStore.java

修改后：

https://github.com/apache/hbase/blob/rel/2.1.1/hbase-procedure/src/main/java/org/apache/hadoop/hbase/procedure2/store/wal/WALProcedureStore.java

来源：华为云社区作者：大史不说话

开源大数据平台HBase对接OBS操作指南相关推荐

开源大数据平台的安全实践
开源大数据平台的安全实践刘杰百度(中国)有限公司,北京 100085 摘要:开源大数据平台的安全机制目前并不特别完善,特别是用户认证.日志审计等方案还存在不少问题.分析了开源大数据平台存在的安全隐 ...
直播预告| 一次实用的“企业级开源大数据平台上层应用”指南
本期 WeDataSphere开源社区推出关于 Qualitis.Prophecis.DataSphereStudio和Schedulis四个组件的内容,为大家介绍涵盖数据质量管理平台.机器学习平台. ...
推荐一套开源大数据平台
推荐一套开源大数据平台 https://github.com/WeiYe-Jing/datax-web
阿里云EMR 2.0：重新定义新一代开源大数据平台
摘要:本文整理自阿里云高级产品专家何源(荆杭)在阿里云EMR2.0线上发布会的分享.本篇内容主要分为三个部分: 开源大数据的痛点及EMR产品历程 EMR2.0 新特征总结一.开源大数据的痛点及 ...
里程碑 | WeDataSphere 一站式开源大数据平台套件全面升级
国家 2035 远景规划提出要加快全面数字化转型的步伐,而"大数据平台"是数字化转型的基础技术之一.对于任何企业来说,建立和维护一个大数据平台都不是一件容易的事情,而建设一个有特色 ...
【活动回顾】带你了解一站式开源大数据平台套件WeDataSphere
WeDataSphere 公众号回复"2022WDS年中大会"获取讲师分享材料点击"阅读原文"可查看完整视频 8月27日下午,2022 WeDataSpher ...
Uber 是如何低成本构建开源大数据平台的？
随着 Uber 业务的扩张,为公司业务提供支持的基础数据池也在飞速膨胀,其处理成本水涨船高.当大数据成为我们最大的运维支出项目之一后,我们启动了一项降低数据平台成本的计划.该计划将问题分解为三大分支: ...
EMR重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...
EMR 重磅发布智能运维诊断系统(EMR Doctor)——开源大数据平台运维利器
大数据运维的挑战-如何保证集群稳定与运行效率企业级大数据集群通常拥有海量的数据存储.日常运算成干上万的计算任务,需要满足各类上层业务的计算需求.对于这类集群的运维往往充满着挑战:海量的数据.庞杂的组 ...

开源大数据平台HBase对接OBS操作指南