安装环境：集群中包括3个节点，1个master，2个slave，节点之间通过局域网连接，可以相互ping通，并可以互相ssh免密码登陆。节点IP地址分布如下：192.168.25.140 master192.168.25.141 slave1192.168.25.142 slave2软件版本：JDK...
分类：
其他好文 时间：
2015-04-02 14:58:08
阅读次数：
258
一、环境概述：192.168.1.2master192.168.1.3worker192.168.1.4worker二、Scala环境设置[root@master~]#tarzxvfscala-2.10.4.tgz-C/home/hadoop/
[root@master~]#cd/home/hadoop/
[root@masterhadoop]#ln-sscala-2.10.4scala
[root@master~]#chown-Rhadoop.hadoop/home/hadoop/..
分类：
其他好文 时间：
2015-03-21 21:28:55
阅读次数：
171
打开IDEA 在src下的main下的scala下右击创建一个scala类 名字为SimpleApp ,内容如下import org.apache.spark.SparkContextimport org.apache.spark.SparkContext._import org.apache.sp...
分类：
Web程序 时间：
2015-03-14 16:54:22
阅读次数：
141
SparkInterpreter.java 这个文件里面读取master的属性有些问题：原来代码中“master”属性的获取的地方应该是错了。设置和读取这个属性的对象不是同一个如下修改后从新编译，优先读环境变量。然后设置MASTER环境变量后可正常连接。左边是修改后的，右边是原来的。From Wiz...
分类：
其他好文 时间：
2015-02-12 18:19:03
阅读次数：
192
操作HDFS：先要保证HDFS启动了： 启动spark集群： 以spark-shell运行在spark集群上： 查看下之前上传到HDFS上的”LICENSE.txt“文件： 用spark读取这个文件： 使用count统计该文件的行数： ?我们可以看到count 耗...
关于Cluster Manager和Deploy Mode的组合在SparkSubmit.scala的createLaunchEnv中有比较详细的逻辑。Cluster Manager基本上有Standalone，YARN和Mesos三种情况，说明Cluster Manager用来指明集群的资源管理器...
分类：
其他好文 时间：
2015-01-28 06:09:55
阅读次数：
1978
Spark submit任务到Spark集群时，会出现如下异常：Exception 1：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered an...
分类：
其他好文 时间：
2015-01-27 12:58:49
阅读次数：
1082
SparkContext 是spark的程序入口，相当于熟悉的‘main’函数。它负责链接spark集群、创建RDD、创建累加计数器、创建广播变量。/** * Main entry point for Spark functionality. A SparkContext represents th...
分类：
其他好文 时间：
2015-01-23 06:09:39
阅读次数：
1394
spark内核揭秘-02-spark集群概览
spark内核揭秘-02-spark集群概览
spark内核揭秘-02-spark集群概览
spark内核揭秘-02-spark集群概览...
分类：
其他好文 时间：
2015-01-18 10:36:10
阅读次数：
219
