Spark记录-spark报错Unable to load native-hadoop library for your platform

时间：2017-11-09 14:27:37 阅读：218 评论：0 收藏：0 [点我收藏+]

解决方案一：

#cp $HADOOP_HOME/lib/native/libhadoop.so $JAVA_HOME/jre/lib/amd64

#源码编译snappy---./configure make & make install

#cp libsnappy.so $JAVA_HOME/jre/lib/amd64

主要是jre目录下缺少了libhadoop.so和libsnappy.so两个文件。具体是，spark-shell依赖的是scala，scala依赖的是JAVA_HOME下的jdk
当这两个文件准备好后再次启动spark shell不会出现这个问题。

在spark的conf/spark-env.sh文件加入：export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

在/etc/profile设置一下：export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native

原文地址：http://www.cnblogs.com/xinfang520/p/7808239.html

踩

(0)

评论一句话评论（0）

分享档案

更多>

周排行