标签：style blog http io ar color os sp on
为了支持hbase0.98.6，需要重新编译spark
1. 下载spark 1.1.0源代码，以及 scala-2.10.4的bin包。
将环境变量 SCALA_HOME 设置为 scala-2.10.4 的目录位置。
2. 下载较新的pom.xml (https://github.com/tedyu/spark)
将该repository中的 spark/pom.xml和spark/examples/pom.xml下载下来，覆盖至用于编译的spark源代码中。
3. 进入源代码目录编译
export SCALA_HOME=/hbase/scala-2.10.4 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" /data2/hadoop_source/apache-maven-3.2.3/bin/mvn -Dhbase.profile=hadoop-provided -Phadoop-2.4,yarn -Dhadoop.version=2.4.1 -DskipTests -Dhbase.version=0.98.6-hadoop2 -e clean package
4. 测试hbase的example
/hbase/spark/bin/spark-submit --class org.apache.spark.examples.HBaseTest --master yarn-cluster --num-executors 3 --driver-memory 1024m --executor-memory 1024m --executor-cores 3 /hbase/spark/lib/spark-examples*.jar 20
Spark 1.1.0 编译(为了支持hbase 0.98.6)
标签：style blog http io ar color os sp on
原文地址：http://www.cnblogs.com/got-my-way/p/4077194.html
