这是一个利用map将字符串规范化（首字母大写，其余字母小写）的例子 #!/usr/bin/env?python
def?lower2upper(s):
????loop?=?0
????l?=?‘‘
????for?n?in?s:
????????if?n.islower...
分类：
其他好文 时间：
2015-03-03 23:51:11
阅读次数：
312
1，关于MycatMycat情报
基于阿里的开源cobar ，可以用于生产系统中，目前在做如下的一些改进：
非阻塞IO的实现，相对于目前的cobar，并发性能大大提升，而且不会陷入假死状态
优化线程池的分配，目前cobar的线程池分配效率不高
修复cobar一些ＢＵＧ
参考impala中的impala front部分的Java代码，实现高效的Map-Reduce，能够处理上亿的大数据量...
分类：
数据库 时间：
2015-03-03 23:40:38
阅读次数：
315
利用map()函数，把用户输入的不规范的英文名字，变为首字母大写，其他小写的规范名字。输入：[‘adam‘,‘LISA‘,‘barT‘]，输出：[‘Adam‘,‘Lisa‘,‘Bart‘]。Python提供的sum()函数可以接受一个list并求和，请编写一个prod()函数，可以接受一个list并利用reduce()求积。list=[‘adam‘,..
分类：
编程语言 时间：
2015-03-02 11:27:13
阅读次数：
164
1 # list元素求和2 sum = reduce(lambda x,y: x+y, mylist)1 # 比较两个 lists 的元素是否完全一致2 if all(x==y for x, y in zip(X, Y))3 do something1 # 按照 key 排列字典的元素，以...
分类：
其他好文 时间：
2015-03-01 14:24:22
阅读次数：
173
集群上的可用宽带限制了MapReduce作业的数量，因此最重要的一点是尽量避免map任务和reduce任务之间的数据传输。Hadoop允许用户针对map任务的输出指定一个合并函数，有时候我们也称作combiner，它就像mapper和reducer一样。
合并函数的输出作为reduce函数的输入，由于合并函数是一个优化方案，所以Hadoop无法确定针对map任务输出中任一条记录需要调...
分类：
其他好文 时间：
2015-03-01 11:57:25
阅读次数：
213
图8-28：#define ADDCARRY(x) (x > 65535 ? x -= 65535 : x)#define REDUCE {l_util.l = sum; sum = l_util.s[0] + l_util.s[1]; ADDCARRY(sum);}这段代码的意图是把高16位的值....
分类：
其他好文 时间：
2015-03-01 11:43:10
阅读次数：
118
MapReduce是一种可用于数据处理的编程模型，该模型比较简单，但用于编写有用的程序并不简单。Hadoop可以运行由各种语言编写的MapReduce程序。MapReduce程序本质上是并行运行的，因此可以将大规模的数据分析任务交给任何一个拥有足够多机器的运营商。MapReduce的优势在于处理大规模数据集。
MapReduce任务过程被分为两个处理阶段：map阶段和reduce阶段...
分类：
其他好文 时间：
2015-03-01 00:26:33
阅读次数：
239
示例文件同sample join analysis 之前的示例是使用map端的join.这次使用reduce端的join. 根据源的类别写不同的mapper，处理不同的文件，输出的key都是studentno.value是其他的信息同时加上类别信息。 然后使用multipleinputs不同的路径注...
分类：
其他好文 时间：
2015-02-28 18:20:34
阅读次数：
151
示例文件： 100 99 100 98 100 56 100 78 20 100 30 100 20 50 30 50 30 60 20 80 需求：首先按第一个数字分组，组成按第二个数字排序。 解决方案： 首先，第一个数字相同的情况下，应该分到同一个reduce去处理，这就...
分类：
其他好文 时间：
2015-02-26 22:44:47
阅读次数：
219
Group大约需要一下几个参数。key：用来分组文档的字段。和keyf两者必须有一个keyf：可以接受一个javascript函数。用来动态的确定分组文档的字段。和key两者必须有一个initial：reduce中使用变量的初始化reduce：执行的reduce函数。函数需要返回值。cond：执行过...
分类：
数据库 时间：
2015-02-25 22:18:11
阅读次数：
232
