一. 说明 Storm是一个分布式实时计算系统，Storm对于实时计算的意义就相当于Hadoop对于批量计算的意义。对于实时性较高的系统Storm是不错的选择。Hadoop提供了map, reduce原语，使批处理程序变得非常地简单和优美。同样，storm也为实时计算提供了一些简单优美的原语。 涉及
分类：
其他好文 时间：
2016-02-18 11:31:34
阅读次数：
221
Python内置函数 lambda lambda表达式相当于函数体为单个return语句的普通函数的匿名函数。请注意，lambda语法并没有使用return关键字。开发者可以在任何可以使用函数引用的位置使用lambda表达式。在开发者想要使用一个简单函数作为参数或者返回值时，使用lambda表达式是
分类：
编程语言 时间：
2016-02-16 16:49:41
阅读次数：
284
转载请注明出处：王亟亟的大牛之路首先在这里祝愿大家，新年快乐，工作顺利，BUG少少！！！本来说是在春节假期内继续维持着写文章的进度，但是还是偷懒了几天（打了4天SC2哈哈哈）今天上的是关于Python的文章，毕竟在亲戚家拜年，懒得插各类手机调试什么的，况且确实好久没有弄Python了，就写了，废话不多，开始正题！！函数式编程函数是什么？把复杂的操作化为简单的函数分解成简单的操作，这种操作就是面向过程...
分类：
编程语言 时间：
2016-02-10 17:41:39
阅读次数：
210
概述： 一个Hive查询生成多个map reduec job，一个map reduce job又有map，reduce，spill，Shuffle，sort等几个阶段，所以针对Hive查询的优化可以大致分为针对MR中单个步骤的优化(其中又会分细节)，针对MR全局的优化，和针对整个查询(多MR job
分类：
其他好文 时间：
2016-01-31 21:27:55
阅读次数：
402
最近使用公司内部的一个框架写map reduce发现没有封装hadoop streaming这些东西，查了下pipeline相关的东西Hadoop Pipeline详解20. Aug/hadoop/1 Comment一、说明Hadoop 2.x相比较于1.x有了较大的改变，像MapReduce层面架...
分类：
其他好文 时间：
2016-01-26 15:15:28
阅读次数：
254
为了更方便的对JS中Array进行操作，ES5规范在Array的原型上新增了9个方法，分别是forEach、filter、map、reduce、reduceRight、some、every、indexOf 和 lastIndexOf，本文将对这几个方法进行详细的讲解，并对每一个方法进行原型扩展，以兼...
转自：http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882279.html转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce的，然而查找资料的时候，发现了这篇文章，并且发现caibinbupt已经对Ha...
分类：
其他好文 时间：
2016-01-05 22:45:22
阅读次数：
362
mapreduce是一种编程模式，用于大规模数据的并行运算。“Map”，“Reduce”是它们的主要思想。用户用Map（映射）函数把一组键值对映射成另一组键值对，指定并发的Reduce（归纳）函数，来保证所有映射的键值对中的每一个共享共同的键组。工作原理：如上图：右图是论文里给出的流程图。一切都是从...
分类：
其他好文 时间：
2016-01-03 17:34:58
阅读次数：
144
一、什么是 Spark Spark 是开源的类 Hadoop MapReduce 的通用的并行计算框架， Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，....
分类：
其他好文 时间：
2016-01-03 02:40:53
阅读次数：
197
filter(function, sequence)：对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple（取决于sequence的类型）返回：>>> def f(x): return x % 2 != 0 an...
分类：
编程语言 时间：
2015-12-22 11:38:57
阅读次数：
183
