1.工厂模式：及时由一个工厂类根据传入的参数决定生产那种产品类function
createPerson(name,age,job){ var o = new Object(); o.name = name; o.age = age;
o.job = job; o.sayName = functio...
分类：
编程语言 时间：
2014-05-10 02:11:47
阅读次数：
423
public class SyncMetadataJob:SPJobDefinition {
private const string JobName = @"Metadata Sync Job"; private int counter = 0;
...
分类：
其他好文 时间：
2014-05-08 22:30:30
阅读次数：
319
从WordCount开始分析
编写一个例子程序
编写一个从HDFS中读取并计算wordcount的例子程序:
packageorg.apache.spark.examples
importorg.apache.spark.SparkContext
importorg.apache.spark.SparkContext._
objectWordCount{
defm...
分类：
其他好文 时间：
2014-05-05 13:10:34
阅读次数：
463
??
SQL Server online consultants came across an interesting scenario where one of our client was unable to restore a native SQL Server backup successfully performed from one instance running on M...
分类：
数据库 时间：
2014-05-04 17:42:50
阅读次数：
394
日期及版本：2014.5.4v1.0架构图实验目的：1.Haproxy+Keepalived双主双机高可用模型，keepalived为Haproxy主从提供高可用保证haproxy-master若挂掉haproxy-backup能无缝接管，haproxy为后端Web提供负载均衡，缓解并发压力，实现WEB站点负载均衡+高可用性；2.Haproxy反代w..
分类：
数据库 时间：
2014-05-04 17:38:05
阅读次数：
888
之前在写MR
job的时候，由于要在云梯，或者一淘的开发集群上运行；所以处理方法是，在本地打成jar包，然后scp到客户端网关机上，然后在提交job运行。这样的问题时，有时候如果遇到一些逻辑上的问题，job跑挂了。必须在本地修改程序，然后重新打包，scp，再运行，这样比较麻烦；询问了一圈，觉得采用M...
分类：
其他好文 时间：
2014-05-04 10:54:29
阅读次数：
427
MapReduce
job中,可以使用FileInputFormat和FileOutputFormat来对输入路径和输出路径来进行设置。在输出目录中，框架自己会自动对输出文件进行命名和组织，如:part-(m|r)-00000之类。但有时为了后续流程的方便，我们常需要对输出结果进行一定的分类和组织。...
分类：
其他好文 时间：
2014-05-04 10:22:15
阅读次数：
341
Spark中的Scheduler
scheduler分成两个类型，一个是TaskScheduler与其实现，一个是DAGScheduler。
TaskScheduler:主要负责各stage中传入的task的执行与调度。
DAGScheduler:主要负责对JOB中的各种依赖进行解析，根据RDD的依赖生成stage并通知TaskScheduler执行。
实例生成
TaskSchedule...
分类：
其他好文 时间：
2014-05-04 09:08:02
阅读次数：
379
RDD的依赖关系
Rdd之间的依赖关系通过rdd中的getDependencies来进行表示，
在提交job后，会通过在DAGShuduler.submitStage-->getMissingParentStages
privatedefgetMissingParentStages(stage:
Stage): List[Stage] = {
valmissing
=newHash...
分类：
其他好文 时间：
2014-05-03 15:56:22
阅读次数：
282
WindowsAzureOnlineBackup是一套基于云技术的在线备份解决方案。你可以通过它将文件备份到云端的数据中心，在本地文件出现损坏或丢失时，他将给你提供更为安全可靠的文件恢复。微软将它作为本地备份解决方案的替代产品。它提供块级存储的增量备份（就是说备份系统仅仅更改数据..
