1. BFS2. QuickSort3. principle of analysis, 1000 articles, so many factors, how to reduce factors.4. newton's method5. multiple thread synchronized6. ...
分类：
其他好文 时间：
2015-10-08 01:45:56
阅读次数：
195
map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节点迟迟运行...
分类：
其他好文 时间：
2015-10-04 23:29:09
阅读次数：
1131
QUESTION NO: 63
View the Exhibit to observe the error.
You receive this error regularly and have to shut down the database instance to overcome the error. What
can the solution be to reduce the cha...
分类：
其他好文 时间：
2015-10-03 06:10:36
阅读次数：
197
PageRank简单介绍：其值是通过其他值得指向值所决定，具体例子如下：对应于每个mapReduce的计算：由mapper算出每个点所指节点的分值，由reduce整个key相同的，由公式算出。三角号表示的是迭代两次之间计算的差值，若小于某个值则计算完成，求的每个点的pagerank值。自我实现的..
分类：
其他好文 时间：
2015-09-30 09:50:07
阅读次数：
250
Mapreduce中：shuffle阶段是在map和reduce之间，可以自定义排序，自定义分区和自定义分组！Mapreduce中，map出的数据是键值对，默认的是hashPatitionner来对map出的数据进行分区；分区的方法还有其他几个：RandomSampler<Text,Text>sampler=
newInputSampler.RandomSampl..
分类：
其他好文 时间：
2015-09-28 19:17:08
阅读次数：
311
mongoDB 聚合groupdb.person.group({ "key":{"age":true}, "initial":{"person":[]}, "$reduce":function(cur,prev){ prev.person.push(cur.name); },"finalize".....
分类：
数据库 时间：
2015-09-24 21:21:38
阅读次数：
206
Shuffle过程是MapReduce的核心，也被称为奇迹发生的地方。要想理解MapReduce，
Shuffle是必须要了解的。Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java
API里Collections.shuffle(List)方法，它会随机地打乱参数list里的元素顺序。如果你不知道MapReduce里
Shuffle是..
分类：
其他好文 时间：
2015-09-23 01:22:25
阅读次数：
262
Slots是Hadoop的一个重要概念。然而在Hadoop相关论文，slots的阐述难以理解。网上关于slots的概念介绍也很少，而对于一个有经验的Hadoop开发者来说，他们可能脑子里已经理解了slots的真正含义，但却难以清楚地表达出来，Hadoop初学者听了还是云里雾里。我来尝试讲解一下，以期..
分类：
其他好文 时间：
2015-09-23 01:19:41
阅读次数：
126
在Hadoop的MR程序开发中，经常需要统计一些map/reduce的运行状态信息，这个时候我们可以通过自定义Counter来实现，这个实现的方式是不是通过配置信息完成的，而是通过代码运行时检查完成的。 1、创建一个自己的Counter枚举类。enum PROCESS_COUNTER { ...
分类：
其他好文 时间：
2015-09-22 18:51:35
阅读次数：
244
LVM是一个应用于Linux内核的本地卷管理器，全称是LogicalVolumeManager。LinuxLVM有两个可用的版本，分别为lvm-1与lvm-2，lvm-1只在Linux内核2.4上可用，它提供最基本的逻辑卷管理；lvm-2是lvm-1的更新版，他在标准的lvm-1功能外提供了额外的功能。lvm的基本模块有：physicalvo..
分类：
其他好文 时间：
2015-09-19 13:58:15
阅读次数：
228
