1. 概述
本文是对spark1.6.0分布式集群的安装的一个详细说明，旨在帮助相关人员按照本说明能够快速搭建并使用spark集群。
2. 安装环境
本安装说明的示例环境部署如下：
IP
外网IP
hostname
备注
10.47.110.38
120.27.153.137
iZ237654q6qZ
Ma...
分类：
其他好文 时间：
2016-04-01 18:11:48
阅读次数：
332
本文详细的描述了部署Spark集群以及配置GPU开发环境的技术流程
分类：
其他好文 时间：
2016-03-18 20:00:40
阅读次数：
221
完全从0搭建Spark集群备注：这个步骤，只适合用root来搭建，正式环境下应该要有权限类的东西后面另外再进行实验写教程1、安装各个软件，设置环境变量（每种软件需自己单独下载）exportJAVA_HOME=/usr/java/jdk1.8.0_71exportJAVA_BIN=/usr/java/jdk1.8.0_71/binexportPATH=$JAV..
分类：
其他好文 时间：
2016-02-22 19:24:52
阅读次数：
343
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 昨晚听了王家林老师的Spark IMF传奇行动第21课：从Spark架构中透视Job，笔记如下： 默认一个worker有一个executor，也可以设置多个，当cpu利用不足时。 并行度也是被继承的 当Spark集群启动的时候，
分类：
其他好文 时间：
2016-01-29 00:27:22
阅读次数：
230
SparkContext.scala实现了一个SparkContext的class和object,SparkContext类似Spark的入口，负责连接Spark集群，创建RDD,累积量和广播量等。在Spark框架下该类在一个JVM中只加载一次。在加载类的阶段，SparkContext类中定义的属性...
分类：
其他好文 时间：
2016-01-17 06:23:44
阅读次数：
258
1 package cn.spark.study.core; 2 3 import java.util.Arrays; 4 5 import org.apache.spark.SparkConf; 6 import org.apache.spark.api.java.JavaPairRDD; ...
分类：
编程语言 时间：
2016-01-07 13:12:49
阅读次数：
231
今晚听了王家林老师的第六课精通Spark集群搭建和测试，课后作业是：搭建自己的spark环境并成功运行pi，我的总结如下：1 硬件环境：至少8GB内存，推荐金士顿内存，虚拟机推荐Ubuntu kylin版本，可以安装各种办公软件包括搜狗输入法。上网方式：Nat,root权限登录，避免权限问题2.软件...
分类：
其他好文 时间：
2016-01-06 23:17:06
阅读次数：
215
作者：周志湖
网名：摇摆少年梦
微信号：zhouzhihubeyond本节主要内容
操作系统环境准备
Hadoop 2.4.1集群搭建
Spark 1.5.0 集群部署
注：在利用CentOS 6.5操作系统安装spark 1.5集群过程中，本人发现Hadoop 2.4.1集群可以顺利搭建，但在Spark 1.5.0集群启动时出现了问题（可能原因是64位操作系统原因，源码需要重新编译，但本人没经...
分类：
其他好文 时间：
2015-12-28 22:09:41
阅读次数：
246
SparkContext是用户程序和Spark交互的接口，它会负责连接到Spark集群，并且根据系统默认配置和用户设置来申请计算资源，完成RDD的创建等工作。
分类：
其他好文 时间：
2015-12-16 12:52:30
阅读次数：
143
Spark一体化多元化的解决方案极大的减少了开发和维护的人力成本和部署平台的物力成本，并在性能方面有极大的优势，特别适合于迭代计算，例如机器学习和和图计算；同时Spark对Scala和Python交互式shell的支持也极大的方便了通过shell直接来使用Spark集群来验证解决问题的方法，..
分类：
其他好文 时间：
2015-12-16 12:50:23
阅读次数：
128
