xmlns:s="library://ns.adobe.com/flex/spark"
xmlns:mx="library://ns.adobe.com/flex/mx" creationComplete="init(event)">
import mx.core.IVisualElement;
import mx.core.IVisualElementContai...
分类：
其他好文 时间：
2014-07-22 23:05:55
阅读次数：
338
在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark
Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被再次处理呢？
分类：
其他好文 时间：
2014-05-06 00:58:21
阅读次数：
465
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
本文通过Azure Website 和 Azure Table Storage
打造一个网络报名系统，介绍Azure的开发体验，感受云的力量。
分类：
其他好文 时间：
2014-05-01 20:07:49
阅读次数：
494
1。国际化 如添加朋友Friends是英文，可以找着相关的类，并在国际化配置文件中添加key
在项目中全局搜索“Friends”，将得到的结果集全部展开，找到这两个文件： 在国际化配置文件spark_i18n_zh_CN.properties 中增加
custum.friends=朋友 修...
分类：
其他好文 时间：
2014-05-01 19:52:51
阅读次数：
470
利用build.xml导入eclipse点击Run——Run
Configurations点击“Main”Name填写：SparkProject：Spark（选择Spark工程）Main
class：org.jivesoftware.launcher.Startup（启动类）勾选Stop in ma...
分类：
其他好文 时间：
2014-05-01 11:51:57
阅读次数：
366
What is an object? (Page 238)In C++, an object
is just a variable, and the purest definition is "a region of storage" (this is
a more specific way ...
分类：
其他好文 时间：
2014-05-01 04:38:01
阅读次数：
327
最近在练习win8的一个小应用的时候，要求打开电脑上的文件以及保存文件到电脑上的功能。对于还属于菜鸟的我来说，着实有点无助呀。后来查了很多资料，才好不容易做好了，但是还是有很多不懂和做的不到位的地方。
还有就是较之之前微软的知识，那些filestream之类的在win8应用中没有作用了。win8好像新推出了storage这一类方法，stream流也几乎把io的方法淹没了，表示很头疼，知识更新是没...
很早以前有个Pig Spork分支，尝试把Pig迁移到Spark上，但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。
flare-spork是基于Spork对Pig和Spark的衔接，把Spark部分的代码迁移到了Pig 0.12.0上，并且升级了依赖和版本，升级为Scala 2.10.3，Spark 0.9.1，且兼容Hadoop 2.2.0。
目前项目在Github上，地址。打算参考Spork已经做的一些东西，继续Pig on Spark的开发。
Github...
分类：
其他好文 时间：
2014-04-30 22:15:39
阅读次数：
360
Spark on yarn执行流程源代码分析
目前的分析主要基于spark0.9.0的cdh5的版本进行分析，
源代码下载地址：https://github.com/cloudera/spark.git
下载方式：gitclone url ./spark
进入spark目录，执行gitcheckout
cdh5-0.9.0_5.0.0
源代码编译
使用sbt编译spa...
分类：
其他好文 时间：
2014-04-29 13:13:22
阅读次数：
446
