func swapme(inout a:T,inout b:T,inout
c:T){
(a,b,c) = (b,c,a);
}
var a:Int =
1;
var b:Int =
2;
var c:Int =
3;
println("\(a),\(b),\(c)");
swapme(&a, &b, &c);
println("\(a),\(...
分类:
编程语言 时间:
2015-06-21 11:57:07
阅读次数:
291
storm blueprint: P20
从零开始学storm : P40
可靠性:spout发送的消息会被拓扑树上的所有节点ack,否则会一直重发。
完整的可靠性示例请参考storm blueprint的chapter1 v4代码,或者P22。
关键步骤如下:
(一)spout
1、创建一个map,用于记录已经发送的tuple的id与内容,此为待确认的tuple列表。
priva...
分类:
其他好文 时间:
2015-06-17 16:46:10
阅读次数:
135
Storm通过分组来指定数据的流向,主要指定了每个bolt消费哪个流,以及如何消费。
storm内置了7个分组方式,并提供了CustomStreamGrouping来创建自定义的分组方式。
1、随机分组 shuffleGrouping
这种方式会随机分发tuple给bolt的各个task,每个task接到到相同数量的tuple。
2、字段分组 fieldGrouping
按照...
分类:
其他好文 时间:
2015-06-17 15:27:40
阅读次数:
490
*代表tuple集合,**代表dictdef func(a, b, c=0, *args, **kw) print ('a=',a, 'b=',b,'c=',c,'args=',args,'kw=',kw)>> func(1,2,c=3)>>a=1 b=2 c=3 args=() kw={}>>f....
分类:
编程语言 时间:
2015-06-17 11:24:13
阅读次数:
163
python的基本数据类型整型 int浮点型float真值 bool字符串 str列表 list #[1,2,3]元组 tuple #(1,2,3)字典 dict #{1:2}集合 set #set{['a','c','b']}集合对象是一组无序排列的可哈希的值:集合成员可以做字典...
分类:
编程语言 时间:
2015-06-15 14:19:01
阅读次数:
125
为了解决大量的同类型元素,于是数组就孕育而生了。数组是具有一定顺序关系的若干对象的集合体,一维数组可以看作是定长的线性表。反之,n为的数组可以看作线性表的推广。从存储结构上来看,数组是一段连续的存储空间。现在我们看看在C#中的数组:...
分类:
编程语言 时间:
2015-06-15 08:00:32
阅读次数:
146
1.Pig是基于hadoop的一个数据处理的框架。
MapReduce是使用java进行开发的,Pig有一套自己的数据处理语言,Pig的数据处理过程要转化为MR来运行。
2.Pig的数据处理语言是数据流方式的,类似于初中做的数学题。
3.Pig基本数据类型:int、long、float、double、chararry、bytearray
复合数据类型:Map、Tuple、Ba...
分类:
其他好文 时间:
2015-06-14 16:44:27
阅读次数:
121
tuple性质tuple是常量list。tuple不能pop,remove,insert等方法tuple用()表示,如a=(0,1,2,3,4),括号可以省略tuple可以用下标返回元素或者子tupletuple 可以用于多个变量的赋值 >>> a,b = (1,2) >>> print a,b 1...
分类:
其他好文 时间:
2015-06-14 09:24:18
阅读次数:
90
多态:意味着可以对不同类的对象使用同样的操作封装:对外部世界隐藏对象的工作细节继承:以普通的类为基础建立专门的类对象defgetPrice(object): ifisinstance(object,tuple): returnobject[1] else: returnmagic_network_method(object)这里用isinstance进行类型/类检查..
分类:
编程语言 时间:
2015-06-13 06:26:55
阅读次数:
151
storm高可靠性:storm有一种机制可以保证从spout发出的每个tuple都会被完全处理 可靠性机制:1.节点故障迁移 当一个节点上的worker出现问题是,会自动切到其他节点;2.消息完整发送一个消息(tuple)从spout发送出来,可能会导致成百上千的消息基于此消息被创建“单词统计”的例...
分类:
其他好文 时间:
2015-06-13 06:16:10
阅读次数:
182