java.lang.OutOfMemoryError异常解决方法原因：常见的有以下几种：1.内存中加载的数据量过于庞大，如一次从数据库取出过多数据；2.集合类中有对对象的引用，使用完后未清空，使得JVM不能回收；3.代码中存在死循环或循环产生过多重复的对象实体；4.使用的第三方软件中的BUG；5.启...
分类：
编程语言 时间：
2014-05-16 07:51:33
阅读次数：
315
接触了Spark也快有半年了，版本从0.8.0到现在的1.0.0SNAPSHOT，从头到尾被spark这个优秀的框架深深吸引，也为scala的优雅所折服。4.19日“2014 中国Spark技术峰会”召开，可以看出随着Spark技术的完善，越来越多的企业已经开始使用或开始关注Spark的发展了。回顾学习过程，觉得很有必要整理一份学习路线，对所学的内容加以沉淀，同时也为同行作为参考。因为Spark1...
分类：
其他好文 时间：
2014-05-15 06:07:33
阅读次数：
357
本篇的配置环境是基于HDFS HA系列实验之二：HA+JournalNode+zookeeper 上进行的。1：原理图 A：实验环境之组成DNS：productserverHA1（nameservices为cluster1）：product201、product202HA2（nameservices为cluster2）：product211、product212DN：product203、p...
分类：
其他好文 时间：
2014-05-15 05:59:29
阅读次数：
323
Java领域的即时通信的解决方案可以考虑openfire+spark+smack。当然也有其他的选择。
Openfire是基于Jabber协议(XMPP)实现的即时通信服务器端版本，目前建议使用3.6.4版本，这个版本是当前最新的版本，而且网上可以找到下载的源代码。
即时通信客户端可使用spark2.5.8,这个版本是目前最新的release版本，经过测试发现上一版本在视频支持,msn网关支持...
分类：
编程语言 时间：
2014-05-13 15:55:13
阅读次数：
252
1、首先利用http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/搭建好的Eclipse(Scala)开发平台编写scala文件，内容如下：import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
object HdfsWordCount {...
分类：
其他好文 时间：
2014-05-13 05:35:12
阅读次数：
379
平时我们编程的时候例如：Object object=new
Object（）；那object就是一个强引用了。如果一个对象具有强引用，那就类似于必不可少的生活用品，垃圾回收器绝不会回收它。当内存空
间不足，Java虚拟机宁愿抛出OutOfMemoryError错误，使程序异常终止，也不会靠随意回收具...
分类：
编程语言 时间：
2014-05-12 00:21:44
阅读次数：
563
1、下载Scala
wget http://www.scala-lang.org/files/archive/scala-2.10.3.tgz
tar xvzf scala-2.10.3.tgz -C /usr/local
2、下载Spark
wget http://www.apache.org/dist/incubator/spark/spark-0.9.0-inc...
分类：
其他好文 时间：
2014-05-11 02:06:21
阅读次数：
368
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
接手一个新的Web项目，编译运行（Tomcat版本为7），运行的时候报出了java.lang.OutOfMemoryError: PermGen
space的异常，搜了一下这样解释： PermGen space的全称是Permanent Generation space，是指内存的永久保存区域。 为...
分类：
编程语言 时间：
2014-05-09 15:24:42
阅读次数：
374
Flex1 到 Flex3 使用的都是 Halo组件，这里将介绍Halo 组件中的List 和 DataGrid 。其中 DataGrid 是显示多列数据中最常用的方式。但是在Spark中还有没对应DataGrid的组件。
先写个“食物”的模型 Dinner.as 。
package model {
[Bindable]
public class Dinner {
public...
分类：
其他好文 时间：
2014-05-09 02:34:26
阅读次数：
306
