hadoop上lzop的安装
lzop是开源的压缩算法框架。具体的介绍这里不再赘述,请去网上搜索。本文书写如何在ubuntu上安装lzop.
所需软件:gcc、g++,Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有。
安装lzo:
hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz
hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz
hadoop@ubuntu:~/lzo-2.06$./configure --enable-shared
hadoop@ubuntu:~/lzo-2.06$ make &&sudo make install
在32位系统机器内将安装后的库文件复制到/usr/lib目录下
hadoop@ubuntu:~/lzo-2.06$cp /usr/local/lib/liblzo2* /usr/lib
安装lzop:
hadoop@ubuntu:~$sudo apt-get install lzop
安装配置ant:
hadoop@ubuntu:~$sudo apt-get install ant
下载hadoop-lzo:
下载地址:https://github.com/toddlipcon/hadoop-lzo
解压压缩包,进入解压文件夹内,运行 ant package
如果报找不到hadoop相关类的错误,修改build.xml 中
<javah classpath="${build.classes}"为<javah classpath="/usr/hadoop-1.1.1/hadoop-core-1.1.1.jar:${build.classes}" 然后再运行。记着你自己安装的hadoop-core jar包的路劲,别粘成我的了啊!
修改hadoop配置:
把你编译的hadoop-lzo-0.4.15.jar(在build文件夹下)拷贝到 $HADOOP_HOME/lib下,同时把hadoop-lzo-0.4.15/lib/native下的jar包拷贝到 $HADOOP_HOME/lib/native下
修改core-site.xml
- <property>
- <name>mapred.compress.map.output</name>
- <value>true</value>
- </property>
- <property>
- <name>mapred.map.output.compression.codec</name>
- <value>com.hadoop.compression.lzo.LzoCodec</value>
- </property>
- <property>
- <name>io.compression.codecs</name>
- <value>org.apache.hadoop.io.compress.GzipCodec,
- org.apache.hadoop.io.compress.DefaultCodec,
- org.apache.hadoop.io.compress.BZip2Codec,
- com.hadoop.compression.lzo.LzoCodec,
- com.hadoop.compression.lzo.LzopCodec,
- org.apache.hadoop.io.compress.SnappyCodec</value>
- </property>
- <property>
- <name>io.compression.codec.lzo.class</name>
- <value>com.hadoop.compression.lzo.LzoCodec</value>
- </property>
然后重新运行hadoop,即安装成功。
转载于:https://blog.51cto.com/wzxwzx2011/1111526
hadoop上lzop的安装相关推荐
- 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨...
本文是一篇关于安装.进程-的帖子 1.Hadoop简介 1.hadoop的生诞 l Nutch和Lucene之父Doug Cutting在2006年成完Hadoop目项. l Hadoop并非一个 ...
- hadoop+zookeeper+hbase 完全安装手册
2019独角兽企业重金招聘Python工程师标准>>> 安装环境: 1. 2台 namenode 10台 datanode 3. 安装目录:opt/software jdk hado ...
- 如何在Hadoop上运行TensorFlow【部署】
为什么80%的码农都做不了架构师?>>> 原文链接 : https://www.tensorflow.org/deploy/hadoop 译文链接 : http://www.a ...
- hadoop的伪分布安装(低版本)
1.hadoop的伪分布安装 1.1.使用root用户,密码是hadoop登录的. 1.2.修改linux的ip地址 操作:(1)在linux桌面的右上角图标,右击,选择Edit Connec ...
- Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
- Hortworks Hadoop 2.4.2安装、配置
Hortonworks Hadoop 2.4.2安装.配置 1简介 此手册应用于Hortonworks Hadoop(HDP2.4.2)的安装.使用. 1.1 参考资料 http://docs. ...
- Hadoop的伪分布安装 hadoop的核心思想
Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...
- Hadoop分布式集群安装配置
1.1 安装环境 操作系统deepin 15.11, VMware Workstation,hadoop 3.1.3 版本.在deepin 操作系统中安装 VMware Workstation,在 V ...
- hadoop 2.5.0安装和配置
安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http: ...
最新文章
- 【Android 性能优化】布局渲染优化 ( 过渡绘制 | 背景设置产生的过度绘制 | Android 系统的渲染优化 | 自定义布局渲染优化 )
- 提取某一个镇的行政边界_接口测试:A04_HttpRunner通用_02_提取数据_02_regex方式
- ubuntu文本模式获得权限修改profile
- NHibernate中的SchemaExport
- hash()函数的实现
- 从“void*”到指向非“void”的指针的转换要求显式类型转换错误
- SCCM Learning2
- c语言二分法查找一个数_算法竞赛小专题系列(1):二分法、三分法
- java方法语法_Java基础语法----方法
- 进程线程的调度阻塞唤醒
- python爬虫项目描述怎么写_爬虫项目咋写,爬取什么样的数据可以作为项目写在简历上?...
- JS_模拟广告栏跟随效果
- 笔记 -凸函数 /KL距离
- Intellij IDEA 2018 安装和破解
- 第十四周博客作业西北师范大学|李晓婷
- Rockchip瑞芯微UART调试指南
- android edittext过滤表情,EditText过滤emoji表情
- mysql error1205 博客_MySQL的ERROR 1205错误分析
- GEEer成长日记十三:Landsat_SR计算地表温度时间序列
- 2020 最新的 65 道 Java 经典面试题及答案
热门文章
- 在虚拟机上安装redis集群,redis使用版本为4.0.5,本机通过命令客户端可以连接访问,外部主机一直访问不了...
- 牛客网编程练习之编程马拉松:解读密码
- 在Ubuntu|CentOS上安装Shutter截图工具及快捷键设置
- knockoutJS学习笔记06:ko数组与模板绑定
- tcpdump抓包分析具体解释
- 多CPU,多核,多进程,多线程以及进程和线程的简单理解以及区别
- mfc控件位置调整和坐标确定 .
- mfc编程消息机制中消息汇总
- IOS基础之使用UICollectionView纯代码创建
- html博客页面实验报告,×××实验报告