lzop是开源的压缩算法框架。具体的介绍这里不再赘述,请去网上搜索。本文书写如何在ubuntu上安装lzop.

所需软件:gcc、g++,Apache ant,lzop,lzo,hadoop-lzo.gcc和g++ ubuntun上已经集成的有

安装lzo:

hadoop@ubuntu:~$wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz

hadoop@ubuntu:~$ tar -zxvf lzo-2.06.tar.gz
   hadoop@ubuntu:~/lzo-2.06$./configure --enable-shared
   hadoop@ubuntu:~/lzo-2.06$ make &&sudo make install

在32位系统机器内将安装后的库文件复制到/usr/lib目录下

hadoop@ubuntu:~/lzo-2.06$cp /usr/local/lib/liblzo2* /usr/lib

安装lzop:

hadoop@ubuntu:~$sudo apt-get install lzop

安装配置ant:

hadoop@ubuntu:~$sudo apt-get install ant

下载hadoop-lzo:

下载地址:https://github.com/toddlipcon/hadoop-lzo

解压压缩包,进入解压文件夹内,运行 ant package

如果报找不到hadoop相关类的错误,修改build.xml 中

<javah classpath="${build.classes}"为<javah classpath="/usr/hadoop-1.1.1/hadoop-core-1.1.1.jar:${build.classes}" 然后再运行。记着你自己安装的hadoop-core jar包的路劲,别粘成我的了啊!

修改hadoop配置:

把你编译的hadoop-lzo-0.4.15.jar(在build文件夹下)拷贝到 $HADOOP_HOME/lib下,同时把hadoop-lzo-0.4.15/lib/native下的jar包拷贝到 $HADOOP_HOME/lib/native下

修改core-site.xml

  1. <property>
  2. <name>mapred.compress.map.output</name>
  3. <value>true</value>
  4. </property>
  5. <property>
  6. <name>mapred.map.output.compression.codec</name>
  7. <value>com.hadoop.compression.lzo.LzoCodec</value>
  8. </property>
  9. <property>
  10. <name>io.compression.codecs</name>
  11. <value>org.apache.hadoop.io.compress.GzipCodec,
  12. org.apache.hadoop.io.compress.DefaultCodec,
  13. org.apache.hadoop.io.compress.BZip2Codec,
  14. com.hadoop.compression.lzo.LzoCodec,
  15. com.hadoop.compression.lzo.LzopCodec,
  16. org.apache.hadoop.io.compress.SnappyCodec</value>
  17. </property>
  18. <property>
  19. <name>io.compression.codec.lzo.class</name>
  20. <value>com.hadoop.compression.lzo.LzoCodec</value>
  21. </property>

然后重新运行hadoop,即安装成功。

转载于:https://blog.51cto.com/wzxwzx2011/1111526

hadoop上lzop的安装相关推荐

  1. 安装、进程-云计算学习笔记---hadoop的简介,以及安装,用命令实现对hdfs系统进行文件的上传下载-by小雨...

    本文是一篇关于安装.进程-的帖子 1.Hadoop简介 1.hadoop的生诞 l  Nutch和Lucene之父Doug Cutting在2006年成完Hadoop目项. l  Hadoop并非一个 ...

  2. hadoop+zookeeper+hbase 完全安装手册

    2019独角兽企业重金招聘Python工程师标准>>> 安装环境: 1. 2台 namenode 10台 datanode 3. 安装目录:opt/software jdk hado ...

  3. 如何在Hadoop上运行TensorFlow【部署】

    为什么80%的码农都做不了架构师?>>>    原文链接 : https://www.tensorflow.org/deploy/hadoop 译文链接 : http://www.a ...

  4. hadoop的伪分布安装(低版本)

    1.hadoop的伪分布安装 1.1.使用root用户,密码是hadoop登录的. 1.2.修改linux的ip地址     操作:(1)在linux桌面的右上角图标,右击,选择Edit Connec ...

  5. Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误

    25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...

  6. Hortworks Hadoop 2.4.2安装、配置

    Hortonworks Hadoop 2.4.2安装.配置   1简介 此手册应用于Hortonworks Hadoop(HDP2.4.2)的安装.使用. 1.1  参考资料 http://docs. ...

  7. Hadoop的伪分布安装 hadoop的核心思想

    Hadoop的伪分布安装 hadoop的安装分为本地模式.伪分布模式.集群模式.本地模式是运行在本地,只负责存储,没有计算功能,本书不讲述.伪分布模式是在一台机器上模拟分布式部署,方便学习和调试.集群 ...

  8. Hadoop分布式集群安装配置

    1.1 安装环境 操作系统deepin 15.11, VMware Workstation,hadoop 3.1.3 版本.在deepin 操作系统中安装 VMware Workstation,在 V ...

  9. hadoop 2.5.0安装和配置

    安装hadoop要先做以下准备: 1.jdk,安装教程在 http://www.cnblogs.com/stardjyeah/p/4640917.html 2.ssh无密码验证,配置教程在 http: ...

最新文章

  1. 【Android 性能优化】布局渲染优化 ( 过渡绘制 | 背景设置产生的过度绘制 | Android 系统的渲染优化 | 自定义布局渲染优化 )
  2. 提取某一个镇的行政边界_接口测试:A04_HttpRunner通用_02_提取数据_02_regex方式
  3. ubuntu文本模式获得权限修改profile
  4. NHibernate中的SchemaExport
  5. hash()函数的实现
  6. 从“void*”到指向非“void”的指针的转换要求显式类型转换错误
  7. SCCM Learning2
  8. c语言二分法查找一个数_算法竞赛小专题系列(1):二分法、三分法
  9. java方法语法_Java基础语法----方法
  10. 进程线程的调度阻塞唤醒
  11. python爬虫项目描述怎么写_爬虫项目咋写,爬取什么样的数据可以作为项目写在简历上?...
  12. JS_模拟广告栏跟随效果
  13. 笔记 -凸函数 /KL距离
  14. Intellij IDEA 2018 安装和破解
  15. 第十四周博客作业西北师范大学|李晓婷
  16. Rockchip瑞芯微UART调试指南
  17. android edittext过滤表情,EditText过滤emoji表情
  18. mysql error1205 博客_MySQL的ERROR 1205错误分析
  19. GEEer成长日记十三:Landsat_SR计算地表温度时间序列
  20. 2020 最新的 65 道 Java 经典面试题及答案

热门文章

  1. 在虚拟机上安装redis集群,redis使用版本为4.0.5,本机通过命令客户端可以连接访问,外部主机一直访问不了...
  2. 牛客网编程练习之编程马拉松:解读密码
  3. 在Ubuntu|CentOS上安装Shutter截图工具及快捷键设置
  4. knockoutJS学习笔记06:ko数组与模板绑定
  5. tcpdump抓包分析具体解释
  6. 多CPU,多核,多进程,多线程以及进程和线程的简单理解以及区别
  7. mfc控件位置调整和坐标确定 .
  8. mfc编程消息机制中消息汇总
  9. IOS基础之使用UICollectionView纯代码创建
  10. html博客页面实验报告,×××实验报告