标签：
1、增加调试信息寻找问题
2、两种方式解决unable to load native-hadoop library for you platform
附：libc/glibc/glib简介
参考：
1、http://my.oschina.net/swuly302/blog/515853【66号公路： Hadoop Unable to load native-hadoop library for your platform】
2、http://blog.sina.com.cn/s/blog_4eca88390102vn86.html
增加调试信息寻找问题
在执行hdfs命令时，会有一个警告：
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
我们增加调试信息看问题出在了哪里。
增加调试信息有两种方式，
1、在执行命令前加一条如下命令：
export HADOOP_ROOT_LOGGER=DEBUG,console
比如：
[wangqi@node001 ~]$ export HADOOP_ROOT_LOGGER=DEBUG,console
[wangqi@node001 ~]$ hdfs dfs -ls /
2、在$HADOOP_CONF_DIR/log4j.properties(hadoop2.6.0的路径是/home/wangqi/software/hadoop-2.6.0/etc/hadoop/log4j.properties)文件中添加如下代码：
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG
我选择的是第二种(因为后面的一种解决方案也需要动这个文件)。
然后执行一条命令，查看调试信息，如下：
[wangqi@node001 ~]$ hdfs dfs -ls /
16/01/05 15:05:49 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
16/01/05 15:05:49 DEBUG util.NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError: no hadoop in java.library.path
16/01/05 15:05:49 DEBUG util.NativeCodeLoader: java.library.path=/home/wangqi/software/hadoop-2.6.0/lib
16/01/05 15:05:49 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Found 1 items
drwxr-xr-x - wangqi supergroup 0 2016-01-05 10:07 /user
问题出来了。对于这个问题，网上有的解决方案是加两个软链接，即：
ln -s libhadoop.so.1.0.0 libhadoop.so
ln -s libhdfs.so.0.0.0 libhdfs.so
但我加上了这两个软链接，问题依旧。
两种方式解决unable to load native-hadoop library for you platform
我们查看一下libhadoop.so.1.0.0的glibc版本，如下：
[wangqi@node001 native]$ ldd libhadoop.so
./libhadoop.so: /lib64/libc.so.6: version `GLIBC_2.14‘ not found (required by ./libhadoop.so)
linux-vdso.so.1 => (0x00007fffb53ff000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007fbb73129000)
libc.so.6 => /lib64/libc.so.6 (0x00007fbb72d94000)
/lib64/ld-linux-x86-64.so.2 (0x000000399b800000)
问题其实已经出现了，libhadoop.so需要的glibc版本是glibc_2.14，没有找到。
我们再看一下当前系统的glibc版本，如下：
[wangqi@node001 native]$ ldd --version
ldd (GNU libc) 2.12
Copyright (C) 2010 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.
可以看到，当前系统的glibc版本是2.12。
那么怎么解决这个警告呢？这里提供两种方式。
1、配置$HADOOP_CONF_DIR/log4j.properties/log4j.properties文件来忽略掉这个警告，即将前面配置的log4j.logger.org.apache.hadoop.util.NativeCodeLoader=DEBUG该成：
log4j.logger.org.apache.hadoop.util.NativeCodeLoader=ERROR
2、升级系统的glib版本。
下载glibc-2.14.tar.bz2，地址为：http://ftp.ntu.edu.tw/gnu/glibc/
下载glibc-linuxthreads-2.5.tar.bz2，地址为：http://ftp.ntu.edu.tw/gnu/glibc/
安装步骤如下：
1) 把下载的bz2包放到一个文件夹下
[wangqi@node001 download]$ ls
glibc-2.14.tar.bz2 glibc-linuxthreads-2.5.tar.bz2
2) 解压glibc-2.14.tar.bz2到当前目录
[wangqi@node001 download]$ tar -xjvf glibc-2.14.tar.bz2
[wangqi@node001 download]$ ls
glibc-2.14.tar.bz2 glibc-2.14 glibc-linuxthreads-2.5.tar.bz2
3) 解压glibc-linuxthreads-2.5.tar.bz2到glibc-2.14中
[wangqi@node001 download]$ cd glibc-2.14
[wangqi@node001 glibc-2.14]$ tar -xjvf ../glibc-linuxthreads-2.5.tar.bz2
此时，glibc-2.14目录下会多出两个文件夹，即linuxthreads和linuxthreads_db
4) 回到上一级目录，执行如下命令：
//回到上一级目录
[wangqi@node001 glibc-2.14]$ cd ..
//加上优化开关，否则会出现错误‘#error "glibc cannot be compiled without optimization"‘
[wangqi@node001 download]$ export CFLAGS="-g -O2"
5) 执行如下命令：
[wangqi@node001 download]$ glibc-2.14/configure --prefix=/usr --disable-profile --enable-add-ons --with-headers=/usr/include --with-binutils=/usr/bin --disable-sanity-checks
6) 执行make
//编译，执行很久(5-10分钟)，可能出错，出错再重新执行
[wangqi@node001 download]$ make
7) 执行make install
//安装，必须root用户执行，执行很久
[wangqi@node001 download]$ sudo make install
8) 使用命令ls -l /lib/libc.so.6查看是否升级成功
[wangqi@node001 download]$ ll /lib64/libc.so.6
lrwxrwxrwx 1 root root 11 Nov 12 09:24 /lib/libc.so.6 -> libc-2.14.so
9) 重启hadoop
[wangqi@node002 ~]$ stop-dfs.sh
[wangqi@node002 ~]$ stop-yarn.sh
10) 执行一条hdfs命令，发现本地库被成功加载
[wangqi@node001 ~]$ export HADOOP_ROOT_LOGGER=DEBUG,console
[wangqi@node001 ~]$ hdfs dfs -ls /
16/01/05 20:02:40 DEBUG util.Shell: setsid exited with exit code 0
16/01/05 20:02:41 DEBUG util.NativeCodeLoader: Trying to load the custom-built native-hadoop library...
16/01/05 20:02:41 DEBUG util.NativeCodeLoader: Loaded the native-hadoop library
16/01/05 20:02:42 DEBUG ipc.ProtobufRpcEngine: Call: getListing took 2ms
Found 2 items
drwxrwx--- - wangqi supergroup 0 2016-01-05 19:40 /tmp
drwxr-xr-x - wangqi supergroup 0 2016-01-05 19:41 /user
附：libc/glibc/glib
glibc和libc都是Linux下的C函数库。
libc是Linux下的ANSIC函数库；glibc是Linux下的GUNC函数库。
glib是用C写的一些utilities，即C的工具库，和libc/glibc没有关系。
glibc是linux下面c标准库的实现，即GNU C Library。glibc本身是GNU旗下的C标准库，后来逐渐成为了Linux的标准c库，而Linux下原来的标准c库Linux libc逐渐不再被维护。
glibc在/lib目录下的.so文件为libc.so.6。
查看当前系统的glibc版本的两种方法：
[root@node001 ~]# ll /lib64/libc.so.6
lrwxrwxrwx. 1 root root 12 Oct 11 00:27 /lib64/libc.so.6 -> libc-2.12.so
[root@node001 ~]# ldd --version
ldd (GNU libc) 2.12
Copyright (C) 2010 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
Written by Roland McGrath and Ulrich Drepper.
这两种方法都可以看到当前系统的glibc的版本是2.12。
Unable to load native-hadoop library for your platform(已解决)
标签：
原文地址：http://www.cnblogs.com/kevinq/p/5103653.html
