java.lang.IllegalArgumentException: System memory 100663296 must be at least 4.718592E8. Please use a larger heap size.
在Eclipse里开发Spark项目，尝试直接在spark里运行程序的时候，遇到下面这个报错：
很明显，这是JVM申请的memory不够...
分类：
其他好文 时间：
2016-05-07 10:48:59
阅读次数：
2276
简介
依赖设置
应用部署
简介在实现基于spark mllib的ALS协同滤波例子：
Spark机器学习_ (南非) 彭特里思 (nick pentreath)(著) 蔡立宇;黄章帅; 周济民(译) 人民邮电出版社 2015-09-01 P72其中使用了jblas包的接口，在我的应用中也使用了这个包的接口
import org.apache.spark.SparkContext
import...
分类：
编程语言 时间：
2016-05-07 08:44:27
阅读次数：
724
SparkContext是spark的入口，通过它来连接集群、创建RDD、广播变量等等。 ...
分类：
其他好文 时间：
2016-05-06 23:27:24
阅读次数：
312
代码如下：packagecom.dt.spark.streaming
importorg.apache.spark.sql.SQLContext
importorg.apache.spark.{SparkContext,SparkConf}
importorg.apache.spark.streaming.{StreamingContext,Duration}
/**
*使用SparkStreaming结合SparkSQL对日志进行分析。
*假设电商网站点..
分类：
数据库 时间：
2016-05-05 07:09:52
阅读次数：
346
本期主要介绍下spark的内核架构。spark的应用程序总体来说，主要包括两部分，一部分是Driver,其包括了SparkConf和SparkContext，另一部分就是Executor，运行具体的业务逻辑。应用程序的提交有两种方式，1、Driver进程运行在客户端，对应用程序进行监控。2、主节点指定某个worke..
分类：
其他好文 时间：
2016-05-03 00:44:01
阅读次数：
142
这是阅读sparkContext类的代码做的一个笔记。阅读这个类的时候，主要的任务就是搞清楚sparkContext是怎么构造的，java、C#的class的初始化都是放在一个方法中的，而scala的主构造函数代码几乎散落在真个sparkContext类中，这就需要我们将其整理出来，才能有条理的进行 ...
分类：
其他好文 时间：
2016-04-04 11:35:00
阅读次数：
106
1.创建一个累加变量 使用SparkContext的如上方法，可以创建一个累加变量。默认情况下，这里的T是int或者double，因此如果想要创建T为long的累加变量是不行的。 2.AccumulatorParam介绍 概念： initialValue：Accumulator的初始值，也就是调用S ...
分类：
其他好文 时间：
2016-03-31 10:47:16
阅读次数：
250
《深入理解Spark：核心思想与源码分析》一书前言的内容请看链接《深入理解SPARK：核心思想与源码分析》一书正式出版上市 《深入理解Spark：核心思想与源码分析》一书第一章的内容请看链接《第1章 环境准备》 《深入理解Spark：核心思想与源码分析》一书第二章的内容请看链接《第2章 SPARK设
分类：
其他好文 时间：
2016-03-14 13:57:14
阅读次数：
253
从WordCount開始分析 编写一个样例程序 编写一个从HDFS中读取并计算wordcount的样例程序: packageorg.apache.spark.examples importorg.apache.spark.SparkContext importorg.apache.spark.Spa
分类：
其他好文 时间：
2016-03-12 13:24:13
阅读次数：
297
TaskScheduler是SparkContext中的重要组成部分，负责任务的调度功能。为简单起见，本文以local模式为例，介绍TaskScheduler的启动原理
分类：
其他好文 时间：
2016-03-03 09:04:46
阅读次数：
225
