Intellij编译Spark on Yarn源码注意事项

标签：io   ar   sp   on   c   ad   file   as   r   

默认是1.0.4，需设置指定Hadoop版本：

在${SPARK_HOME}/pom.xml中的<id>yarn</id>改为

<profile>
      <id>yarn</id>
      <properties>
        <hadoop.major.version>2</hadoop.major.version>
        <hadoop.version>2.2.0</hadoop.version>
        <yarn.version>2.2.0</yarn.version>
        <protobuf.version>2.5.0</protobuf.version>
      </properties>
      <modules>
        <module>yarn</module>
      </modules>
    </profile>

Intellij编译Spark on Yarn源码注意事项

标签：io   ar   sp   on   c   ad   file   as   r   

原文地址：http://blog.csdn.net/cklsoft/article/details/39032715