安装JDK1.7以上Hadoop2.7.0不支持JDK1.6，Spark1.5.0开始不支持JDK1.6安装Scala2.10.4安装Hadoop2.x至少HDFSspark-env.shexportJAVA_HOME=
exportSCALA_HOME=
exportHADOOP_CONF_DIR=/opt/modules/hadoop-2.2.0/etc/hadoop//运行在yarn上必须要指定
exportSPARK_MASTER_IP=s..
分类：
其他好文 时间：
2015-11-12 06:42:36
阅读次数：
238
Spark概述
当前，MapReduce编程模型已经成为主流的分布式编程模型，它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。但是MapReduce也存在一些缺陷，如高延迟、不支持DAG模型、Map与Reduce的中间数据落地等。因此在近两年，社区出现了优化改进M...
分类：
其他好文 时间：
2014-09-27 18:23:00
阅读次数：
573
