单机运行Standalone使用Spark本身提供的资源管理器，可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具：Chef
分类：
其他好文 时间：
2014-09-12 11:41:33
阅读次数：
156
Spark 0.6.0开始支持此功能准备：运行Spark-on-YARN需要Spark的二进制发布包。参考编译配置：环境变量：SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量，可以省略。 例如：SPARK_YARN_USER_ENV="JAVA_H...
分类：
其他好文 时间：
2014-09-12 11:38:33
阅读次数：
222
1、垃圾回收在conf/spark-env.sh中添加SPARK_JAVA_OPTS=-verberos:gc -XX;+PrintGCDetails -XX:+PrintGCTimeStamps如果发现集群耗费过多时间在垃圾回收上，可以通过spark.storage.memoryFaction调低...
分类：
其他好文 时间：
2014-09-12 11:35:43
阅读次数：
234
安装配置hosts配置： 用户： useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E...
分类：
其他好文 时间：
2014-09-12 11:35:33
阅读次数：
197
1、SBT编译vi project/SparkBuild.scala修改仓库："Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类：
其他好文 时间：
2014-09-12 11:29:43
阅读次数：
234
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类：
其他好文 时间：
2014-09-12 11:29:13
阅读次数：
175
chris说:"生活是靠争取的，而不是用来等待的；感情是靠维系的，而不是用来考验的。"他说,感情的维系是要靠两个人的努力,朋友之间的友情是这样,爱情也是这样。他说要靠单方的维系不能走的很长久,所以要靠两个人共同来维系。他说,"在这个年龄,我学会了很多的包容和理解,少了很多..
分类：
其他好文 时间：
2014-09-10 09:43:00
阅读次数：
155
本系列作为Effective JavaScript的读书笔记。
Item 8：少用全局对象
重点:
全局对象能够带来便利，但是有经验的程序员都会视图避免它。因为它会带来潜在的命名冲突的风险
全局变量是维系不同模块之间的纽带，模块之间只能通过全局变量来访问对方提供的功能
能使用局部变量的时候，绝不要使用全局变量
在browser中，this关键字会指向全局的window对...
分类：
编程语言 时间：
2014-08-22 13:07:09
阅读次数：
209
Java天生骄傲系列-8函数的应用（重点掌握）如何定义函数例1：packagetest.myeclipse;publicclasstest1{publicstaticvoidmain(String[]args){intSum=getSum();System.out.println("Sum="+Sum);}publicstaticintgetSum(){return3+4;}}运行结果：Sum=7例2：packagetest.myeclipse;..
分类：
编程语言 时间：
2014-08-21 19:41:45
阅读次数：
208
Java天生骄傲系列-6程序流程控制(续)循环结构代表语句：while,dowhile,forWhile语句格式：while(条件表达式){执行语句；}牛刀小试：packagetest.myeclipse;publicclasstest1{publicstaticvoidmain(String[]args){intx=1;while(x<4){System.out.println("x="+x);x++;}}}运行..
分类：
编程语言 时间：
2014-08-19 14:42:15
阅读次数：
222
