码迷,mamicode.com
首页 > 其他好文 > 详细

分享impala-1.3.0-hadoop-2.3.0-cdh5.0.0编译

时间:2015-02-28 22:58:40      阅读:355      评论:0      收藏:0      [点我收藏+]

标签:

impala编译 编译系统centos 5.10

一、预装库

1.gcc安装

yum install gcc44

yum install gcc44-c++

下面的单独安装在编译过程中会与系统自带的低版本冲突

mpc-0.9.tar.gz

mpfr-3.1.2.tar.gz

gmp-5.0.1.tar.bz2

gcc-4.4.7.tar.gz

gcc-g++-4.4.7.tar.gz

http://blog.sina.com.cn/s/blog_868618f00101ij4a.html

 

注:安装之后中需要将原来的/usr/bin 下的4.1.2的cc,gcc 指向4.4.7版本

并且指向的是 /usr/bin/x86_64-redhat-linux6E-gcc44而不是gcc44

g++同样指向/usr/bin/x86_64-redhat-linux6E-g++44

卸载掉gcc-c++,它是4.1.2版本。因为有在编译时使用的有可能是c++而不是g++编译器,造成版本过低会引起无法识别msse4.2参数。具体情况没有证明,我只是把它卸载了。

2.boost库安装

boost_1_53_0.tar.gz

安装到系统默认路径

编译参数

./bjam   --toolset=gcc  --layout=tagged --build-type=complete     --with-regex  --with-system  --with-thread  --with-filesystem install --with-date_time

3.其它库安装

git-1.9.4.tar.gz  ./configure  --prefix=/usr/local/git-1.9.2

Python-2.7.8.tgz  ./configure  --prefix=/usr/local/python-2.7.8

lzo-2.06.tar.gz  ./configure  --enable-shared

yum install cmake libtool zlib-devel openssl-devel bzip2-devel cyrus-sasl-devel

下面的两个LZO库直接解压

hadoop-lzo-0.4.15-gplextras5.0.1-SNAPSHOT.tar.gz

hadoop-lzo-release-0.4.19.tar.gz

impala-lzo-1.3.1-gplextras5.0.1-SNAPSHOT.tar.gz

文件下载地址

http://archive.cloudera.com/gplextras/

不同操作系统下对应的rpm包找到后直接解压就会找到jar包。

 

4.工具安装

jdk-6u45-linux-x64.bin              

apache-maven-3.0.4-bin.tar.gz

setuptools-0.6c11.tar.gz 此工具用来编译python脚本

安装过程:

tar zxvf setuptools-0.6c11.tar.gz
cd setuptools-0.6c11
python setup.py build
python setup.py install

5 .LLVM安装

llvm-3.3.src.tar.gz, cfe-3.3.src.tar.gz, compiler-rt-3.3.src.tar

所需要的包以及放位置参考或文档《LLVM编译安装.txt》

有一个已经将以上三个包打好的完全源码包vip-llvm-3.3.src.tar

直接解压可编译安装

http://clang.llvm.org/get_started.html

二、环境变量

其它库的环境变量是否需要看安装路径,如果安装在默认路径就不需要,以下库安装在指定路径,其它库在默认路径

export GIT_HOME=/usr/local/git-1.9.2

export HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export PATH=$GIT_HOME/bin:$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

./buildall.sh  -noclean  -skiptests  -codecoverage_release  -codecoverage_debug

错误0:

/usr/local/lib/../lib/libstdc++.so: could not read symbols: File in wrong format

表示没有安装boost库到标准路径,而直接使用了标准C++造成的,直接将上面编译boosts时安装到标准路径 ,

错误一:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc: In member function ‘virtual impala::FailureDetector::PeerState impala::TimeoutFailureDetector::UpdateHeartbeat(const std::string&, bool)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/statestore/failure-detector.cc:41: 错误:‘lock_guard’ 在此作用域中尚未声明

解决:修改头文件failure-detector.h加入#include <boost/thread/lock_guard.hpp>

错误二:

/home/flh/boost_1_53_0/build/include/boost/move/core.hpp:48: 错误:放松 ‘boost::rv<T>::~rv() [with T = impala::TNetworkAddress]’ 的 throw 限定

/home/flh/impala-1.3.0-cdh5.0.0/be/generated-sources/gen-cpp/Types_types.h:180: 错误:  覆盖了 ‘virtual impala::TNetworkAddress::~TNetworkAddress() throw ()’

解决:Types_types.h头文件中产生的所有类的析构函数的后面的throw() 关键词去掉

错误三:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc: In member function ‘impala::Status impala::SimpleLogger::AppendEntry(const std::string&)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/util/simple-logger.cc:77: 错误:‘lock_guard’ 在此作用域中尚未声明

解决:修改头文件simple-logger.h添加#include <boost/thread/lock_guard.hpp>

错误四:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp: In member function ‘virtual boost::shared_ptr<apache::thrift::transport::TTransport> apache::thrift::transport::TSaslServerTransport::Factory::getTransport(boost::shared_ptr<apache::thrift::transport::TTransport>)’:

/home/flh/impala-1.3.0-cdh5.0.0/be/src/transport/TSaslServerTransport.cpp:110: 错误:‘lock_guard’ is not a member of ‘boost’

解决:修改头文件TSaslServerTransport.h添加#include <boost/thread/lock_guard.hpp>

Impala 编译6.5以上系统

一、预装库

1.gcc编译器安装

yum install gcc

yum install gcc-c++

默认都是4.4.7版本

2.boost库安装

同上

3.其它库安装

同上

4.工具安装

同上

5.LLVM安装

同上

如果有错误,删除了多编译几次

二、环境变量

其它库的环境变量是否需要看安装路径,如果安装在默认路径就不需要,以下库安装在指定路径,其它库在默认路径

 export HADOOP_LZO=/root/hadoop-lzo-0.4.15

export IMPALA_LZO=/root/impala-lzo-1.3.1

export PYTHON2_HOME=/usr/local/python-2.7.8

export MAVEN_HOME=/root/apache-maven-3.0.4

export JAVA_HOME=/root/jdk

export PATH=$PYTHON2_HOME/bin:$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

三、编译

同上

分享impala-1.3.0-hadoop-2.3.0-cdh5.0.0编译

标签:

原文地址:http://www.cnblogs.com/xiaofu/p/4306280.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!