拉开大变革序幕（下）：分布式计算框架与大数据

不可变基础设施

如何更好地使用容器技术实现不可变基础设施

Tachyon

Tachyon简介

南京大学PASA大数据实验室

SPARK/TACHYON:基于内存的分布式存储系统

Spark on Yarn

1. 搭建spark on yarn集群全过程 —— 可与 3 形成参考

2. Spark on Yarn

3. Spark On YARN 集群安装部署 —— 推荐

1) 配置Hadoop Yarn集群时出现的问题及修复：

在每一台机器上（master和各个slave），都要对hadoop-env.sh和yarn-env.sh两个文件末尾添加（export）JAVA_HOME这个环境变量（根据具体机器上JAVA_HOME的不同而不同）。
在经过

cd ~/hadoop-2.7.1     #进入hadoop目录
bin/hadoop namenode -format     #格式化namenode
sbin/start-dfs.sh               #启动dfs 
sbin/start-yarn.sh              #启动yarn

之后，登录 http://master:8088，发现有slave节点是unhealthy状态，再进行一下配置，在每台机器（master和各个slave）上，修改yarn-site.xml文件，添加如下：（不推荐！）

name=yarn.nodemanager.disk-health-checker.enable
value=false

然后在master上stop-all.sh后，重新启动集群：

sbin/start-dfs.sh               #启动dfs 
sbin/start-yarn.sh              #启动yarn

就会发现恢复正常。

2) 配置spark的spark-env.sh时

注意master上SPARK_LOCAL_DIRS的值和各个slave上应当一样，即spark放在各个机器的同一路径下。

3) 目前来看在REHL 7.1上编译成的hadoop并不能在SUSE上跑起来

4) 各种slaves文件中不添加localhost这一项

Hadoop 编译出错

我是在IBM JAVA环境下进行hadoop的编译。列出编译过程中的错误和解决方法，供大家参考。

1) Antrun

Failed to execute goal
org.apache.maven.plugins:maven-antrun-plugin:1.6:run (create-testdirs)

http://stackoverflow.com/questions/17126213/building-hadoop-with-maven-failed-to-execute-goal-org-apache-maven-pluginsma

chown -R username parent-directory
（ 如 chown -R root ../ ）
mvn install -DskipTests

2) Build failed with JVM IBM JAVA on TestSecureLogins

package com.sun.security.auth.module does not exist

https://issues.apache.org/jira/browse/HADOOP-11783

这是专门为在IBM JAVA环境下打的patch。

3) 经过上面两个fix后如果很快显示BUILD SUCCESS，并且在（假设下载的源码文件夹名为hadoop-release-2.7.1）hadoop-release-2.7.1/hadoop-dist/target/目录下没有名为hadoop-2.7.1.tar.gz的tar包，说明没有编译成功，返回到hadoop-release-2.7.1这个根目录下，继续执行：

mvn package -Pdist -DskipTests -Dtar

http://www.iteblog.com/archives/897

这之后编译的时间明显变长，各位在这段惊心动魄的时间里度过吧:)

YARN集群运行SparkPi出错

Exception in thread “main” java.io.IOException: All datanodes
9.12.43.187:50010 are bad. Aborting…
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.setupPipelineForAppendOrRecovery(DFSOutputStream.java:1206)
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.processDatanodeError(DFSOutputStream.java:1004)
at
org.apache.hadoop.hdfs.DFSOutputStream DataStreamer.run(DFSOutputStream.java:548)

有可能是因为IBM大型机上大小端的问题，需要一个patch。
或者通过组合异构平台解决。

运行成功显示：