462 views

hadoop集群内lzo的安装与配置

By | 2015年7月28日

最近我们部门在测试云计算平台hadoop,我被lzo折腾了三四天,累了个够呛。在此总结一下,也给大家做个参考。
操作系统:CentOS 5.5,Hadoop版本:hadoop-0.20.2-CDH3B4
安装lzo所需要软件包:gcc、ant、lzo、lzo编码/解码器,另外,还需要lzo-devel依赖
配置lzo的文件:core-site.xml、mapred-site.xml
大致步骤:
1)安装和更新gcc、ant
2)在各个节点安装lzo
3)安装lzo编码/解码器
4)修改配置文件,并同步各节点的配置文件
注:没有特别指出的话,所有操作都是在Namenode中进行的

一、lzo安装:
1、gcc的安装:yum即可,记得同时更新lib*、glibc*、gcc*
2、ant的安装:
删除旧版本:yum remove ant
安装新版本:
wget http://labs.renren.com/apache-mirror//ant/binaries/apache-ant-1.8.2-bin.tar.gz
tar -jxvf apache-ant-1.8.2-bin.tar.bz2
添加ant的环境变量:
vi /etc/profile
export ANT_HOME=/usr/local/apache-ant-1.8.2
export PATH=$PATH:$ANT_HOME/bin

source /etc/profile 使配置文件生效
3、lzo的安装:
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.04.tar.gz
tar -zxvf lzo-2.04.tar.gz
cd lzo-2.04
./configure –enable-shared
make && make install
库文件被默认安装到了/usr/local/lib,我们需要进一步指定lzo库文件的路径,两个方法都可以:
1)拷贝/usr/local/lib目录下的lzo库文件到/usr/lib(32位平台),或/usr/lib64(64位平台)
2)在/etc/ld.so.conf.d/目录下新建lzo.conf文件,写入lzo库文件的路径,然后运行/sbin/ldconfig -v,使配置生效
4、在各个节点安装lzo:
这句话本可以一笔带过,但我把它单独列出作为一步,就是要提醒大家:Namenode和Datanode都要安装lzo!
所需软件包:gcc、ant、lzo-2.04.tar.gz、lzo-2.04-1.el5.rf.i386.rpm、lzo-devel-2.04-1.el5.rf.i386.rpm。
注:两个lzo rpm文件是需要的,特别是lzop工具会需要这两个文件,后面会提到。注意32位系统和64位系统要下载相应的rpm版本!
安装过程:略
调整库文件路径:略
5、lzo编码/解码器的安装:
这里必须要说明:如果hadoop是cloudera版的,那么lzo编码/解码器就不要用google官方的那个!到这里下载:https://github.com/kevinweil/hadoop-lzo。我曾经被官方那个东西郁闷了很久,搜索了大量资料,最后搞明白。
wget https://download.github.com/kevinweil-hadoop-lzo-2ad6654.tar.gz
tar -zxvf kevinweil-hadoop-lzo-2ad6654.tar.gz
cd kevinweil-hadoop-lzo-2ad6654
ant compile-native tar
注意:若是64位系统,可能还需要在上面代码的最后一行的前面加上export CFLAGS=-m64!
编译失败:
make: *** [impl/lzo/LzoCompressor.lo] Error 1
解决方法参考:http://code.google.com/a/apache-extras.org/p/hadoop-gpl-compression/issues/detail?id=18&redir=1
我这里是由于缺少lzo-devel依赖的原因,lzo-devel有lzo- 2.04-1.el5.rf的依赖:
wget http://packages.sw.be/lzo/lzo-devel-2.04-1.el5.rf.i386.rpm
wget http://packages.sw.be/lzo/lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-2.04-1.el5.rf.i386.rpm
rpm -ivh lzo-devel-2.04-1.el5.rf.i386.rpm
注意:上面下载的是32位的lzo-devel,若系统为64位,则需要下载64位的lzo-devel。下载地址:http://packages.sw.be/lzo/
重新ant compile-native tar,编译成功!
编译成功后,还需要把编码/解码器以及native库拷贝到$HADOOP_HOME/lib目录下,拷贝操作请参考google的官方文档:
cp build/hadoop-lzo-0.4.10.jar /home/hadoop/hadoop-0.20.2-CDH3B4/lib/
tar -cBf – -C build/native . | tar -xBvf – -C /home/hadoop/hadoop-0.20.2-CDH3B4/lib/native
cd /home/hadoop/hadoop-0.20.2-CDH3B4/lib/
chown -R hdfs:hadoop native/
6、同步各节点的hadoop-lzo-0.4.10.jar和hadoop的native目录
这里有一点要说明,由于某种原因,我把它们也拷贝到了hbase的相应目录下,但我认为其实是不需要拷贝的。
当初在集群内测试lzo时,遇到了问题,我以为hbase也需要hadoop-lzo-0.4.10.jar和hadoop的native目录,就把它们拷贝到了hbase。后来问题解决,发现不是hbase的原因,但我最终没有在hbase里删除它们。所以,是否有必要把它们也拷贝到hbase,有待于大家亲自测试。
二、配置lzo:
1、主要是往hadoop目录下conf目录中的core-site.xml和mapred-site.xml文件添加一些属性:
vi core-site.xml:
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.BZip2Codec,com.hadoop.compression.lzo.LzopCodec</value>
</property>

<property>
<name>io.compression.codec.lzo.class</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>
vi mapred-site.xml:
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>

<property>
<name>mapred.child.env</name>
<value>JAVA_LIBRARY_PATH=/home/hdfs/hadoop-0.20.2-CDH3B4/lib/native/Linux-amd64-64</value>
</property>

<property>
<name>mapreduce.map.output.compress.codec</name>
<value>com.hadoop.compression.lzo.LzoCodec</value>
</property>

发表评论

电子邮件地址不会被公开。 必填项已用*标注