hbase snappy 安装_hbase自带snappy压缩测试出错
今天在验证snappy能否可用的时候遇到一个问题,执行hbase自带的压缩测试方法hbase
org.apache.hadoop.hbase.util.CompressionTest /a.txt snappy报错,信息如下
hbase org.apache.hadoop.hbase.util.CompressionTest /ab.txt
snappy
14/04/25 14:50:55 INFO Configuration.deprecation:
hadoop.native.lib is deprecated. Instead, use
io.native.lib.available SLF4J: Class path contains multiple SLF4J
bindings. SLF4J: Found binding in
[jar:file:/data1/cdh5/app/hbase/lib/slf4j-log4j12-1.6.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in
[jar:file:/data1/cdh5/app/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an
explanation. 14/04/25 14:50:57 INFO util.ChecksumType: Checksum
using org.apache.hadoop.util.PureJavaCrc32 14/04/25 14:50:57 INFO
util.ChecksumType: Checksum can use
org.apache.hadoop.util.PureJavaCrc32C 14/04/25 14:50:57 DEBUG
util.FSUtils: Creating file=/ab.txt with permission=rwxrwxrwx
14/04/25 14:50:57 INFO hbase.HBaseFileSystem: Create Path with
Perms, sleeping 1000 times 1 14/04/25 14:50:58 INFO
hbase.HBaseFileSystem: Create Path with Perms, sleeping 1000 times
2 14/04/25 14:51:00 INFO hbase.HBaseFileSystem: Create Path with
Perms, sleeping 1000 times 3 14/04/25 14:51:03 INFO
hbase.HBaseFileSystem: Create Path with Perms, sleeping 1000 times
4 14/04/25 14:51:07 INFO hbase.HBaseFileSystem: Create Path with
Perms, sleeping 1000 times 5 14/04/25 14:51:12 INFO
hbase.HBaseFileSystem: Create Path with Perms, sleeping 1000 times
6 14/04/25 14:51:18 INFO hbase.HBaseFileSystem: Create Path with
Perms, sleeping 1000 times 7 14/04/25 14:51:25 INFO
hbase.HBaseFileSystem: Create Path with Perms, sleeping 1000 times
8 14/04/25 14:51:33 INFO hbase.HBaseFileSystem: Create Path with
Perms, sleeping 1000 times 9 14/04/25 14:51:42 INFO
hbase.HBaseFileSystem: Create Path with Perms, sleeping 1000 times
10 14/04/25 14:51:52 WARN hbase.HBaseFileSystem: Create Path with
Perms, retries exhausted Exception in thread "main"
java.io.IOException: Exception in createPathWithPermsOnFileSystem
at
org.apache.hadoop.hbase.HBaseFileSystem.createPathWithPermsOnFileSystem(HBaseFileSystem.java:218)
at org.apache.hadoop.hbase.util.FSUtils.create(FSUtils.java:157) at
org.apache.hadoop.hbase.util.FSUtils.create(FSUtils.java:133) at
org.apache.hadoop.hbase.io.hfile.AbstractHFileWriter.createOutputStream(AbstractHFileWriter.java:271)
at
org.apache.hadoop.hbase.io.hfile.HFile$WriterFactory.create(HFile.java:398)
at
org.apache.hadoop.hbase.util.CompressionTest.doSmokeTest(CompressionTest.java:108)
at
org.apache.hadoop.hbase.util.CompressionTest.main(CompressionTest.java:138)
Caused by: java.io.FileNotFoundException: /ab.txt (权限不够) at
java.io.FileOutputStream.open(Native Method) at
java.io.FileOutputStream.(FileOutputStream.java:212)
at
org.apache.hadoop.fs.RawLocalFileSystem$LocalFSFileOutputStream.(RawLocalFileSystem.java:206)
at
org.apache.hadoop.fs.RawLocalFileSystem$LocalFSFileOutputStream.(RawLocalFileSystem.java:202)
at
org.apache.hadoop.fs.RawLocalFileSystem.create(RawLocalFileSystem.java:265)
at
org.apache.hadoop.fs.RawLocalFileSystem.create(RawLocalFileSystem.java:252)
at
org.apache.hadoop.fs.ChecksumFileSystem$ChecksumFSOutputSummer.(ChecksumFileSystem.java:384)
at
org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:443)
at
org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:424)
at
org.apache.hadoop.hbase.HBaseFileSystem.createPathWithPermsOnFileSystem(HBaseFileSystem.java:210)
... 6 more,
但是创建snappy压缩方式的hbase表,是可以成功的,并且可以正常加载,也就是snappy是可以使用的。注意到报错信息中,其中有RawLocalFileSystem信息,所以尝试将命令修改为
hbase org.apache.hadoop.hbase.util.CompressionTest
hdfs://cdh5cluster/ab.txt snappy
返回SUCCESS
查看了hbase的conf目录下,没有core-site.xml配置,将配置加上后,hbase
org.apache.hadoop.hbase.util.CompressionTest /ab.txt snappy
返回SUCCESS,看来真是hbase中没有获取到集群的信息造成的。
PS.还有一种解决方法,在hbase-env.sh中添加HADOOP_CONF_DIR环境变量
export
HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop,这样可以不必将core-site.xml和hdfs-site.xml配置拷贝到hbase的conf目录下,直接识别集群信息,很方便啊,又收获了一个小tip,谢谢凯哥
hbase snappy 安装_hbase自带snappy压缩测试出错相关推荐
- hadoop安装Snappy HBase本地安装Snappy
1.环境 Centos7 hadoop-2.7.7 zookeeper-3.4.14 hbase-1.4.10 JDK1.8 2.hadoop安装snappy(集群,在主库安装) 2.1.安装snap ...
- 解压并安装protobuf库_通过protobuf自带gzip压缩对报文进行二次压缩
全部在windows平台进行测试 一.编译zlib 从github上下载最新zlib代码,根据教程进行编译,是cmake工程很简单.编译安装好,找到安装目录的include.lib.bin.默认是路径 ...
- 【hbase】HBASE的安装与配置的步骤详解
在开发中,HBASE的安装一般都是有相关人员安装与维护,这里只是学习的写笔记而已. 一.上传解压:将需要安装的jar包上传解压到指定目录. 二.修改配置:下图是需要修改的配置文件的内容 配 ...
- Hadoop集群搭建(六:HBase的安装配置)
实验 目的 要求 目的: 1.HBase的高可用完全分布模式的安装和验证 要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: ...
- HBase的安装与使用
1.安装 由于还是学习阶段,所以没有在生产环境练习,就在本地建了个虚拟机进行HBase的安装. 下载地址http://www.apache.org/dyn/closer.cgi/hbase/,选择一个 ...
- Hbase单点安装Version1.1.5
Hbase单点安装,基于版本1.1.5, 使用hbase-1.1.5.tar.gz安装包. 1.安装说明 使用Hbase自带zookeeper和本地文件目录存储数据 2.安装规划 角色规划 IP/机器 ...
- hadoop+zookeeper+Hbase+spark安装部署总结
hadoop+zookeeper+Hbase+spark安装部署总结 主要参考:https://blog.csdn.net/sunxiaoju/article/details/85918135 计算机 ...
- linux网卡e1000下载,linux安装主板自带网卡e1000 步骤
目标linux机器A(缺少kernel源码的情况下)安装主板自带网卡e1000 步骤 目标linux机器A(缺少kernel源码的情况下)安装主板自带网卡e1000 步骤 e1000 linux下的驱 ...
- HBase数据库安装配置
HBase简介 HBase是一个分布式的.面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文"Bigtable:一个结构化数据的分布式存储系统".就像B ...
- 《力荐收藏》Hadoop全套组件安装详解——带你走进大数据的深渊
目录 Hadoop部署 部署组件 一.VMware部署安装 二.Ubuntu18.04.5版本的部署安装 三.安装VMware Tools 四.配置ssh免密登陆 五.Java环境安装 Hadoo ...
最新文章
- caffe prototxt分析
- jsonp跨域访问服务
- Groovy与Java集成常见的坑--转
- 只有单杀技能的飞鸽传书
- Go 官方未来会不会支持循环引用?
- 两个for做数据插入_冒泡排序、选择排序、插入排序
- python调用远程js_python和js交互调用的方法
- [转载] python执行shell命令的几种方法
- cdr你的产品已禁用_Coreldraw提示已安装另一版本导致安装失败的解决办法
- 【Git】675- 让你的 commit 更有价值
- jquery实现注册表单验证
- 一步一步搭建自己的web系统(一):搭建后端服务
- maven中使用assembly打包
- 迪士尼电影经过多年的
- SmartFoxServer 2X管理工具
- 微信开发者工具小技巧——快速创建小程序的新页面。
- 纯真ip php,PHP利用纯真数据库获取访客IP物理地址
- WR | 西湖大学鞠峰组揭示微塑料污染对人工湿地菌群与脱氮功能的影响
- 微信小程序 页面传参(url)参数过长报错解决办法
- Win10连接Bose QC30蓝牙耳机 已配对但连接不成功
热门文章
- 关于Bilibili下载问题
- bilibili有的视频没声音解决办法
- 随机游走模型 matlab,随机游走matlab程序
- 随机生成20以内加减法,5次答题并统计正确和错误题数
- 部分古钱知识--(4)
- 个子矮s弯如何看点打方向图解_s弯如何看点打方向图解?s弯方向盘打法口诀
- CAN学习笔记---负载率计算
- 树莓派4B(4G/8G)安装Ubuntu18.04桌面版+ROS(Melodic)+Realsense SDK(T265+D400系列)
- javascript思维导图大全
- CentOS 6各版本镜像合集下载