1. 概念消息流是storm里面的最关键的抽象。一个消息流是一个没有边界的tuple序列, 而这些tuples会被以一种分布式的方式并行地创建和处理。 对消息流的定义主要是对消息流里面的tuple的定义, 我们会给tuple里的每个字段一个名字。 并且不同tuple的对应字段的类型必须一样。 也就是...
分类:
其他好文 时间:
2015-06-13 01:09:03
阅读次数:
300
list是一种有序的集合,可以随时添加和删除其中的元素。>>> s = ['python', 'java', ['asp', 'php'], 'scheme']>>> s[2][1]'php'tuple和list类似,但是tuple一旦初始化就不能修改>>> t = (1,2,3)>>> t[2]3...
分类:
编程语言 时间:
2015-06-12 22:08:06
阅读次数:
142
Spout的实现步骤:· 对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。· 在数据得到了字段的说明后,将其转换成tuple。· 声明Spout和Bolt之间的分组,并决定tuple发送给Bolt的途径。Spout的具体编码在Listing Three中显示。Listing Thr...
分类:
其他好文 时间:
2015-06-12 18:47:07
阅读次数:
88
Spout的实现步骤:
· 对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。
· 在数据得到了字段的说明后,将其转换成tuple。
· 声明Spout和Bolt之间的分组,并决定tuple发送给Bolt的途径。
Spout的具体编码在Listing Three中显示。
Listing Three:Spout中open、nextTupl...
分类:
其他好文 时间:
2015-06-12 17:22:50
阅读次数:
181
一、Erlang语法:变量、模式匹配 -------------------------------------- 1.elr命令:工具栏toolbar:start(). 2.%。。。注释 3.变量首字母大写,单一赋值 4.模式匹配 5.原子:hello, ‘an atom with‘ 6.元组tuple...
分类:
其他好文 时间:
2015-06-11 11:17:59
阅读次数:
174
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型:1. 随机分组(Shuffle grouping):随机分发tuple到Bolt的任务,保证每个任务获得相等数量的tuple。2. 字段分组(Fields group...
分类:
其他好文 时间:
2015-06-09 19:11:06
阅读次数:
141
Stream Grouping定义了一个流在Bolt任务间该如何被切分。这里有Storm提供的6个Stream Grouping类型:
1. 随机分组(Shuffle grouping):随机分发tuple到Bolt的任务,保证每个任务获得相等数量的tuple。
2. 字段分组(Fields grouping):根据指定字段分割数据流,并分组。例如,根据“user-id”字段,相同“u...
分类:
其他好文 时间:
2015-06-09 17:18:08
阅读次数:
98
解释器信息 platform.python_version(): ?返回的Python版本字符串‘major.minor.patchlevel‘。sys.version有类似功能,但是返回的信息更多。 platform.python_version_tuple(): 返回Python版本 (major, minor, p...
分类:
编程语言 时间:
2015-06-09 10:07:11
阅读次数:
688
基本类型int、long、float、double、chararray、bytearray、datatime、boolean、biginteger、bigdecimal复杂类型map、tuple、bagNULLmap['key1'#value1, 'key2'#value2]key-value键值对...
分类:
其他好文 时间:
2015-06-07 23:31:55
阅读次数:
1007
foreach:一行一行的遍历数据,处理一行的数据,然后返回一个tuple。users = load '/users.data';1)别名引用f = foreach users generate name, age; 2)位置引用f = foreach users generate $0, $1;....
分类:
其他好文 时间:
2015-06-07 23:11:23
阅读次数:
305