code1：object factorial{ def main(args:Array[String])={ println(factorial(args(0).toInt)) } def factorial(x:Int):Int = if (x==0) 1 else x * fa...
分类：
其他好文 时间：
2014-10-29 12:52:22
阅读次数：
176
看到了http://blog.phusion.nl/2013/03/12/tuning-phusion-passengers-concurrency-settings/的推荐，打算具体测试一下使用workerMPM对于passenger的性能提升。实验设定:实验对象:自己用Rails写的webservice实验工具：自己用scala写的基于http://gatling.io/的性能测试代码两个..
分类：
Web程序 时间：
2014-10-28 10:31:34
阅读次数：
262
最近本人对各种分布式计算平台研究的比较火热，上周的时间简单了了解了Storm的用法，今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台，Spark，跟Hadoop属于同类型的。Spark和Storm一样，作为最近才刚刚开源出来的一个项目，学习的资料相当少，大家都还在学习阶段，所以，我目前的学习的情况也只是限于比较粗糙的学习。
Spark是一个开源的通用并行分布式计...
分类：
其他好文 时间：
2014-10-27 23:10:00
阅读次数：
345
spark学习笔记
join跟union方法测试效果
join(otherDataset, [numTasks])：(K, V) join (K, W) => (K, (V, W))
测试过如果 没有join到的key，就没有数据，也就是两个RDD没有共同的K,则没有相应的数据
如：
res15: Array[(Int, Int)] =...
分类：
其他好文 时间：
2014-10-27 14:24:19
阅读次数：
117
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法（Tree和Rule的配合），也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件，由于hiveContext继承自sqlContext，关键的概念和组件类似，只不过后者针对hive的特性做了一些修正和重写，所以本篇就只介绍sqlContext的关键的概念和组件。
概念：
Logi...
分类：
数据库 时间：
2014-10-27 12:53:06
阅读次数：
616
本文简单探讨一下Scala语言Case Class的实现机制...
分类：
其他好文 时间：
2014-10-27 10:57:23
阅读次数：
241
从org.apache.spark.scheduler.DAGScheduler#submitMissingTasks开始，分析Stage是如何生成TaskSet的。如果一个Stage的所有的parent stage都已经计算完成或者存在于cache中，那么他会调用submitMissingTask...
分类：
其他好文 时间：
2014-10-27 06:56:06
阅读次数：
249
编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢？
本文试就此做一个小小的总结。
分类：
Web程序 时间：
2014-10-26 21:11:13
阅读次数：
275
今天在写一个统计用户信息的程序时出现了bug，导致统计的结果根真实值有很大的差距。经过仔细检查以后，我发现时对scala中的split函数的理解不够透彻导致的。下面我讲详细解释split的参数及用法。因为scala中的String复用了Java的String，因此这也是Java中String.spl...
分类：
其他好文 时间：
2014-10-25 18:42:56
阅读次数：
973
kafka自己居然没有还一个Web管理界面。。
这里有个第三方的：
https://github.com/claudemamo/kafka-web-console
坑爹的是居然没有详细的安装步骤，只有一些简单的说明，对于不熟悉scala play开发的人来说，很蛋疼。下面记录详细的安装过程。
先下载安装scala的构建工具sbt，最新版本可以到官网查看：
http://ww...
分类：
Web程序 时间：
2014-10-24 20:53:54
阅读次数：
253
