xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" creationComplete="init(event)">
import mx.core.IVisualElement;
import mx.core.IVisualElementContai...
分类：
其他好文 时间：
2014-07-22 23:05:55
阅读次数：
338
在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？
分类：
其他好文 时间：
2014-05-06 00:58:21
阅读次数：
465
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
性能啊！性能！
之所以想写写性能调优，也是有感于我们的项目，我们采用一些手段使得系统性能上升了一个台阶，总是需要把这点经验沉淀一下。随着工作的深入，关于系统性能的事肯定还有很多，也算是通过这个系列文章做做笔记。优化可能包括应用级别的优化，也可能包括代码级别的优化。
“要进行优化，先得找到性能瓶颈！”
忘记是从哪里看到了这句话，但总算切中要害。...
分类：
编程语言 时间：
2014-05-03 23:47:34
阅读次数：
445
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
1。国际化 如添加朋友Friends是英文，可以找着相关的类，并在国际化配置文件中添加key
在项目中全局搜索“Friends”，将得到的结果集全部展开，找到这两个文件： 在国际化配置文件spark_i18n_zh_CN.properties 中增加
custum.friends=朋友 修...
分类：
其他好文 时间：
2014-05-01 19:52:51
阅读次数：
470
原文：http://www.mastertheboss.com/jboss-performance/jboss-as-7-performance-tuning
调优JBoss应用服务器
虽然许多架构师和软件工程师都同意，约70-80％的应用程序的性能取决于应用程序本身的编码，配置不当的服务器环境可以显著影响你的用户体验，并最终影响到你的应用程序性能。
很多配置元素，可以显著地影响你的服...
分类：
其他好文 时间：
2014-05-01 18:46:34
阅读次数：
263
很早以前有个Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。
flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。
目前项目在Github上，地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。
Github...
分类：
其他好文 时间：
2014-04-30 22:15:39
阅读次数：
360
分布式消息系统Jafka入门指南作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszs一、JafkaMQ简介JafkaMQ是一个分布式的发布/订阅消息系统，它是Apache Kafka的Java移植版。2013年11月28日，JafkaMQ发布了1.2.3版。JafkaMQ的特征如下：1）消息持久化到磁盘的算法时间复杂度为O(1)，即使是TB级的消息存储，也能...
分类：
其他好文 时间：
2014-04-29 13:32:22
阅读次数：
278
Spark on yarn执行流程源代码分析
目前的分析主要基于spark0.9.0的cdh5的版本进行分析，
源代码下载地址：https://github.com/cloudera/spark.git
下载方式：gitclone url ./spark
进入spark目录，执行gitcheckout
cdh5-0.9.0_5.0.0
源代码编译
使用sbt编译spa...
分类：
其他好文 时间：
2014-04-29 13:13:22
阅读次数：
446
