Hadoop中map以及reduce的参数总结及说明...
分类：
其他好文 时间：
2015-01-23 23:08:48
阅读次数：
381
我们安装完hadoop，下面我们从视觉上看看hadoop怎么玩的。我们可以在win7系统上，通过web界面，在浏览器地址栏输入地址，直接查看hadoop的运行情况；10.10.11.191:50030这个里面，我们可以看到Map/Reduce的管理情况10.10.11.191:50070这里可以看到...
分类：
Web程序 时间：
2015-01-22 13:00:20
阅读次数：
110
1.filterfilter（function，sequence）-->list，tuple or string1） 参数func是自定义的过滤函数，在函数func（item）中定义过滤规则。果然func为“None”，则过滤项Item都为真，返回所有序列的元素。（2） 参数sequence为待处理...
分类：
其他好文 时间：
2015-01-19 18:51:56
阅读次数：
183
目前实时或者是准实时的大数据模型越来越多，技术是否先进并非流行的首要原因，社区圈子的繁荣与否才是最重要的。主要有Redshift-亚马逊出品的一款MPP支持PB级别数据库Hive-基于hadoop 上面的SQL引擎，将sql翻译为Map-Reduce任务；Shark- 基于spark计算框架，与Hi...
分类：
其他好文 时间：
2015-01-15 20:08:35
阅读次数：
256
一、filter(function, sequence)对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple(取决于sequence的类型)返回：def f(x): return x % 2 != 0 a...
分类：
编程语言 时间：
2015-01-13 19:32:01
阅读次数：
207
mahout中map-reduce版的itembased推荐算法思想
最近想写一个map-reduce版的userbased，于是先研究mahout中已实现的itembased算法。itembased看起来简单，但是深入到实现细节还是有点复杂的，用map-reduce实现就更复杂了。
itembased的本质：
预测某用户user对某物品item的打分，
看看该用户对其他...
分类：
编程语言 时间：
2015-01-13 00:08:08
阅读次数：
202
在hadoop-0.23版本中， MapReduce已经做了一次全面的修改，这也正是我们现在所说的 MapReduce 2.0 (MRv2) 或者是 YARN.
MRv2的基本思想是将JobTracker的两个主要的功能，一个是资源管理，一个是作业的调度和监控，
分成各自独立的后台进程。这个思想说的是拥有一个全局的资源管理器（ ResourceManager (RM)），还有一个是每个应用程序都拥有的应用主控器（ApplicationMaster (AM)）。一个应用程序可以是一个传统的Map-Reduce...
分类：
Web程序 时间：
2015-01-09 17:27:45
阅读次数：
192
mahout（或者hadoop）优先使用用户指定的classpath加载jar包
问题：使用mahout0.8时，出现java.lang.NoSuchMethodError: org.apache.lucene.util.PriorityQueue
类似http://www.warski.org/blog/2013/10/using-amazons-elastic-map-reduce-to-compute-recommendations-with-apache-mahout-0-8/
原因：
$HADO...
分类：
编程语言 时间：
2015-01-07 23:36:11
阅读次数：
297
python有几个内置的函数很有意 思：map/filter/reduce，都是对一个集合进行处理，filter很容易理解用于过滤，map用于映射，reduce用于归并. 是python列表方法的三架马车。filter() 函数:filter函数的功能相当于过滤器。调用一个布尔函数bool_func...
分类：
编程语言 时间：
2015-01-06 23:06:52
阅读次数：
195
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以....
分类：
其他好文 时间：
2015-01-05 18:11:16
阅读次数：
323
