执行文件拷贝操作拷贝后的“input”文件夹的内容如下所示：和我们的hadoop安装目录下的“conf”文件的内容是一样的。现在，在我们刚刚构建的伪分布式模式下运行wordcount程序：运行完成后我们查看一下输出的结果：部分统计结果如下：此时我们到达Hadoop的web控制台会发现我们提交并成功的...
分类：
其他好文 时间：
2014-08-27 12:49:47
阅读次数：
236
Spark Standalone集群是Master-Slaves架构的集群模式，和大部分的Master-Slaves结构集群一样，存在着Master单点故障的问题。如何解决这个单点故障的问题，Spark提供了两种方案：基于文件系统的单点恢复(Single-Node Recovery with Loc...
分类：
其他好文 时间：
2014-08-26 19:00:56
阅读次数：
567
红色留着继续思考。问题背景： CCSWYB ，在云平台上模拟shell流程，在各个节点上分配fvcom计算任务。Spark程序流程： 从HDFS中读取tasklist.txt(每一行对应一个任务) 经过一些操作过后生成一个JavaPairRDD ，记作data，对data执行foreac...
分类：
其他好文 时间：
2014-08-26 01:47:25
阅读次数：
5885
本文就拟牛顿法L-BFGS的由来做一个简要的回顾，然后就其在spark mllib中的实现进行源码走读。
分类：
其他好文 时间：
2014-08-25 20:55:34
阅读次数：
2698
第四步：配置Hadoop伪分布模式并运行Wordcount示例伪分布模式主要涉及一下的配置信息：修改Hadoop的核心配置文件core-site.xml，主要是配置HDFS的地址和端口号；修改Hadoop中HDFS的配置文件hdfs-site.xml，主要是配置replication;修改Hadoo...
分类：
其他好文 时间：
2014-08-25 16:51:54
阅读次数：
267
1.下载spark源码，在spark源码目录下面有个make-distribution.sh文件，修改里面的参数，使编译后能支持hive，修改后执行该文件。（要预先安装好maven才能编译）。2.将编译好的spark源码部署到机器上，然后将hive/conf中的hive-site.xml拷贝到spa...
分类：
其他好文 时间：
2014-08-25 10:02:34
阅读次数：
271
Spark和Halo(MX) Halo(MX)是Flex3独有的组件； Spark是Flex4引入的新一代组件； Flex4同时支持 Spark和Halo(MX); Spark容器允许改变布局算法； Halo(MX)组件则内置了不去算法，所以如果在Halo(MX)中，如果想使用另...
分类：
其他好文 时间：
2014-08-24 15:32:03
阅读次数：
329
今天碰到的一个 spark问题，困扰好久才解决首先我的spark集群部署使用的部署包是官方提供的spark-1.0.2-bin-hadoop2.tgz部署在hadoop集群上。在运行java jar包的时候使用命令java -jar chinahadoop-1.0-SNAPSHOT.jar chin...
分类：
编程语言 时间：
2014-08-24 08:04:42
阅读次数：
321
部署spark集群使用spark包spark-1.0.2-bin-hadoop2.tgz在spark-shell和java -jar访问hadoop hdfs上的文件写法是有区别的在spark-shell直接使用/user/ning/1.txt 之类的路径，不用加hdfs://host:port 的...
分类：
编程语言 时间：
2014-08-24 08:04:12
阅读次数：
261
1.Spark Streaming 代码分析：
1.1 示例代码DEMO：
实时计算的WorldCount：
import org.apache.spark.streaming.{Seconds, StreamingContext}
import org.apache.spark.streaming.StreamingContext._
import org....
分类：
其他好文 时间：
2014-08-24 00:24:21
阅读次数：
615
