hbase集群 数据写入_大数据入门必学 - Hbase集群搭建
Hbase 在大数据的体系中扮演着DB角色,不得不说是重要的一员,在上一篇,大猪 已经给大家演示了 Hadoop 3.2 集群搭建 了,本次我们将继续紧接着搭建Hbase集群。由于我们安装是Hbase的集群版本,这里将会使用到独立的 Zookeeper。
与 Hbase 使用的版本也将都是最新版本,坑嘛,自然由大猪来趟。
服务器一
下载 zookeeper-3.4.14.tar.gz
curl -O http://apache.mirrors.ionfish.org/zookeeper/stable/zookeeper-3.4.14.tar.gz
解压更名
tar -zxvf zookeeper-3.4.14.tar.gzmv zookeeper-3.4.14 zookeeper
配置PATH环境
echo -e 'export ZK_HOME=/soft/zookeeper export PATH=$PATH:$ZK_HOME/bin' >> /etc/profile# 立即生效source /etc/profile
coo.cfg 配置
tickTime=2000initLimit=10syncLimit=5dataDir=/soft/zookeeper/datadataLogDir=/soft/zookeeper/logsclientPort=2181server.1=m1.example.com:2888:3888server.2=m2.example.com:2888:3888
创建目录
mkdir -p /soft/zookeeper/datamkdir -p /soft/zookeeper/logs
配置zk的日志输出路径
# 在第二行添加下面语句到 bin/zkServer.sh 中export ZOO_LOG_DIR=/soft/zookeeper/logs
创建zk id标识
echo 1 > /soft/zookeeper/data/myid
服务器二
复制zookeeper到服务器二soft目录上
scp -r zookeeper root@m2.example.com:/soft
创建zk id标识
echo 2 > /soft/zookeeper/data/myid
创建目录 => 同上
配置PATH环境 => 同上
ZK启动
# 服务器一zkServer.sh start# 服务器二zkServer.sh start# 成功如下[root@m1 data]# zkServer.sh statusZooKeeper JMX enabled by defaultUsing config: /soft/zookeeper/bin/../conf/zoo.cfgMode: follower 或 leader
Hbase操作
下载 hbase-2.1.4-bin.tar.gz
curl -O https://www.apache.org/dyn/closer.lua/hbase/2.1.4/hbase-2.1.4-bin.tar.gz
解压更名
tar -zxvf hbase-2.1.4-bin.tar.gzmv hbase-2.1.4 hbase
配置PATH环境
echo -e 'export export HBASE_HOME=/soft/hbase export PATH=$PATH:$HBASE_HOME/bin' >> /etc/profile# 立即生效source /etc/profile
hbase-site.xml 配置
hbase.rootdirhdfs://m1.example.com:9000/hbasehbase.unsafe.stream.capability.enforcefalsehbase.master16010hbase.cluster.distributedtruehbase.zookeeper.quorumm1.example.com,m2.example.comhbase.zookeeper.property.dataDir/soft/zookeeper/datahbase.zookeeper.property.clientPort2181
regionservers 添加
m1.example.comm2.example.com
backup-masters 添加
m1.example.com
下载 htrace-core-3.2.0-incubating.jar 到 hbase/lib 目录中
curl -O http://central.maven.org/maven2/org/apache/htrace/htrace-core/3.2.0-incubating/htrace-core-3.2.0-incubating.jar
bin/hbase-env.sh 添加
export JAVA_HOME=/soft/jdk1.8export HBASE_MANAGES_ZK=false
复制hbase到另一台服务器上
scp -r hbase root@m2.example.com:/soft
另一台的环境配置跟上面一样
可以启动Hbase了
start-hbase.sh
尝试创建一张表
hbase shellcreate 'logTable',{NAME => 'info',TTL => '3 DAYS',CONFIGURATION => {'SPLIT_POLICY' => 'org.apache.hadoop.hbase.regionserver.KeyPrefixRegionSplitPolicy','KeyPrefixRegionSplitPolicy.prefix_length'=>'2'}},SPLITS => ['20','80']
访问 http://m1.example.com:16010
提示
如果日志中出现下面的错误
Master startup cannot progress, in holding-pattern until region onlined
则执行zkCli.sh删除meta信息,重启Hbase即可
zkCli.sh -server 127.0.0.1rmr /hbase/meta-region-server
最后
每天发布更多新鲜有含量的技术文章、总有一款适合你。
快关注我、把我打包带走、每天提醒你学习一手技术。
hbase集群 数据写入_大数据入门必学 - Hbase集群搭建相关推荐
- oracle 数据立方_大数据之数据仓库分层
大数据之数据仓库分层 1. 什么是数据分层? 2. 数据分层的好处 一种通用的数据分层设计 3. 举例 4. 各层会用到的计算引擎和存储系统 5. 分层实现 6.数据分层的一些概念说明 7.大数据相关 ...
- 大数据数据收集数据困难_大数据架构、大数据开发与数据分析的区别
是新朋友吗?记得先点蓝字关注我哦- 今日课程菜单 Java全栈开发 | Web前端+H5 大数据开发 | 数据分析 人工智能+Python | 人工智能+物联网 来源:小职(z_zhizuobiao ...
- 什么是大数据口子_大数据分析师年薪几十万,学什么专业才能从事大数据?
近几年,大数据为各个领域带来了全新的变革,大数据的重要性越来越被企业和国家所看到,大数据工作者的需求再次被无限放大,他们的薪资和社会地位也在不断上涨.马云在演讲中就提到,未来的时代将不是IT时代,而是 ...
- 大数据数据收集数据困难_大数据就是好数据吗?研究人员在处理大数据集时遭遇的 5 大挑战...
大数据给每个科研领域的研究方式带来了前所未有的变化.每个领域中,研究人员可使用的工具皆有显著性,大数据现在逐渐成为横跨各学科领域的共同工具.大数据集的可取得性以及可存储并共享大量的数据的能力为研究人员 ...
- Hadoop数据工程师_大数据Hadoop技术好学吗
在大数据技术体系当中,Hadoop无疑是占据着非常重要的位置.从2005年Hadoop项目诞生开始,到如今发展到相对成熟稳定的阶段,Hadoop技术在大数据处理当中的重要性无疑是值得关注的,很多企业也 ...
- rdd数据存内存 数据量_大数据开发-Spark调优常用手段
Spark调优 spark调优常见手段,在生产中常常会遇到各种各样的问题,有事前原因,有事中原因,也有不规范原因,spark调优总结下来可以从下面几个点来调优. 1. 分配更多的资源 分配更多的资源: ...
- 小白专属:大数据总纲_大数据路线_高屋建瓴的体验大数据的世界
零.前言 不想告诉你前景. 因为好前景给你的回报是2x.坏前景给你的回报是1x. 而你缺的是走下去的过程.却的是进入前景,走到前景面前的那一个x 建议阅读人群: 大数据入门人员. 才学一两个组件的小白 ...
- golang 大数据平台_大数据平台是什么?有哪些功能?如何搭建大数据平台?
大数据平台是为了满足企业对于数据的各种要求而产生的. 大数据平台: 是指以处理海量数据存储.计算及不间断流数据实时计算等场景为主的一套基础设施.典型的包括Hadoop系列.Spark.Storm.Fl ...
- python 分析大数据日志_大数据Web日志分析 用Hadoop统计KPI指标实例
可以带着下面问题来阅读文章 问题: 1.MapReduce在日志分析的作用 思考: 该如何架构kpi系统,需要考虑什么问题. kpi:关键绩效指标法,即KPI绩效考核,是企业绩效考核的方法之一,其特点 ...
- 车联网大数据框架_大数据基础:ORM框架入门简介
作为大数据开发技术者,需要掌握扎实的Java基础,这是不争的事实,所以对于Java开发当中需要掌握的重要框架技术,也需要有相应程度的掌握,比如说ORM框架.今天的大数据基础分享,我们就来具体讲一讲OR ...
最新文章
- 图像配准----双向匹配
- irrlicht1.3中文支持
- 如果在安装32位oracle 客户端组件时的情况下以64位模式运行,将出现问题
- 用DOS命令安装删除服务
- raspberry pi_通过串行蓝牙从Raspberry Pi传感器单元发送数据
- 【C# 调用 Go 语言】0x1 Hello Golang
- java8 javafx_JavaFX技巧8:美丽深层
- 对MySQL性能影响关系紧密的五大配置参数
- Java进阶 | Proxy动态代理机制详解
- php怎么表示合数,什么是合数 合数的定义
- 新型计算机作文1000,科技作文1000字(精选3篇)
- 计算机科学与技术a类学科,清华大学a类学科有哪些?附清华a类学科名单
- LSOF 安装与使用
- hive窗口函数使用详解
- 微信公众号私信回复内容怎么设置
- 信号与系统--信号以及系统的介绍(一)
- rpc服务器不可用然后无限重启,系统同步更新失败提示RPC服务器不可用怎么办
- linux for while语句的使用
- spark kafka directstream java.io.EOFException: Received -1 when reading from channel, socket has lik
- MS10_002漏洞利用