标签:
简单的spark on yarn不需要什么额外的配置,只要 HADOOP_CONF_DIR和YARN_CONF_DIR配置在环境变量里,(然后spark standalone能跑起来,说明spark部署成功)。
启动spark的history server(spark on yarn日志监控可以启动history server进行监控。还可以使用yarn的监控),master和worker不需要启动。然后就可以使用sprak-submit命令提交job了。
参考:
标签:
原文地址:http://my.oschina.net/cjun/blog/509282