使用docker安装部署Spark集群来训练CNN（含Python实例） http://blog.csdn.net/cyh_24/article/details/49683221 实验室有4台神服务器，每台有8个tesla-GPU，然而平时做实验都只使用了其中的一个GPU，实在暴遣天物！ 于是想用S ...
分类：
编程语言 时间：
2016-06-20 15:27:21
阅读次数：
280
spark集群中的节点可以只处理自身独立数据库里的数据，然后汇总吗？修改 spark集群中的节点可以只处理自身独立数据库里的数据，然后汇总吗？修改 我将spark搭建在两台机器上，其中一台既是master又是slave，另一台是slave，两台机器上均装有独立的mongodb数据库。我是否可以让它们 ...
分类：
其他好文 时间：
2016-06-20 12:44:49
阅读次数：
195
spark集群安装配置 一. Spark简介 Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark基于map reduce 算法模式实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于Hadoop MapReduce的是Job中间输出和结果 ...
分类：
其他好文 时间：
2016-06-14 10:11:26
阅读次数：
158
一. Spark简介 Spark是一个通用的并行计算框架，由UCBerkeley的AMP实验室开发。Spark基于map reduce 算法模式实现的分布式计算，拥有Hadoop MapReduce所具有的优点；但不同于Hadoop MapReduce的是Job中间输出和结果可以保存在内存中，从而不 ...
分类：
系统相关 时间：
2016-06-14 00:55:34
阅读次数：
204
一、概述 关于Spark是什么、为什么学习Spark等等，在这就不说了，直接看这个：http://spark.apache.org， 我就直接说一下Spark的一些优势： 1、快 与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spa ...
分类：
其他好文 时间：
2016-05-26 13:08:06
阅读次数：
235
前提条件 1.CDH安装spark服务 2.下载IntelliJ IDEA编写WorkCount程序 3.上传到spark集群执行 一.下载IntellJ IDEA编写Java程序 1.下载IDEA 官网地址：http://www.jetbrains.com/idea/ 下载IntlliJ IDEA ...
分类：
其他好文 时间：
2016-05-20 19:21:44
阅读次数：
663
关于这个spark的环境搭建了好久，踩了一堆坑，今天 环境： WIN7笔记本 spark 集群（4个虚拟机搭建的） Intelij IDEA15 scala-2.10.4 java-1.7.0 版本问题： 个人选择的是hadoop2.6.0 spark1.5.0 scala2.10.4 jdk1.7 ...
分类：
Windows程序 时间：
2016-05-13 18:49:39
阅读次数：
4862
SparkHA需要先安装zookeeper,推荐稳定版zookeeper-3.4.6，具体安装如下：1)下载Zookeeper进入http://www.apache.org/dyn/closer.cgi/zookeeper/，你可以选择其他镜像网址去下载，用官网推荐的镜像：http://mirror.bit.edu.cn/apache/zookeeper/下载zookeeper-3.4.6.tar.gz。2)..
分类：
其他好文 时间：
2016-05-08 01:24:38
阅读次数：
399
本期内容： 1、解密Spark Streaming Job架构和运行机制 2、解密Spark Streaming 容错架构和运行机制 一、解密Spark Streaming Job架构和运行机制 通过代码洞察Job的执行过程： 通过观察Job在Spark集群上运行的Log和结合源代码分析出如下流程： ...
分类：
其他好文 时间：
2016-05-07 15:01:39
阅读次数：
125
一：Spark集群开发环境准备
启动HDFS，如下图所示：
通过web端查看节点正常启动，如下图所示：
2.启动Spark集群，如下图所示：
通过web端查看集群启动正常，如下图所示：
3.启动start-history-server.sh，如下图所示：
二：HDFS的SparkStreaming案例实战（代码部分）
...
分类：
其他好文 时间：
2016-04-29 17:53:28
阅读次数：
223
