在2014年4月7日，Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0，这个版本有了一定的改进，突出的变化可以总结为下列几点（官方文档说明）：
1 支持HDFS访问控制列表（ACL，Access Control Lists）
这个特性解决了在一定情况下，文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征，如果你熟悉Linux的文件访问机...
分类：
其他好文 时间：
2014-05-13 09:03:36
阅读次数：
326
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top input out...
分类：
其他好文 时间：
2014-05-13 06:53:12
阅读次数：
448
堆排序分为两个阶段：1、将原始数组组装成一个堆；2、从堆顶逐个取出元素并得到排序结果。（如果是最大堆，则是重复删除最大元素，然后从后往前放入到数组。）
用sink（）只需扫描数组中的一半元素。
堆排序可以不需要额外的空间，最优的利用空间和时间。可用于嵌入式系统。缺点：无法利用缓存，影响缓存命中。...
分类：
其他好文 时间：
2014-05-13 05:43:27
阅读次数：
207
2014-05-12注定是春光灿烂猪八戒的一天，历史595无故障的hadoop服务器，终于还是出了问题，事前无人登陆操作服务器，此故障属于自发行为，目前未知发生原因。细节描述：namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类：
其他好文 时间：
2014-05-13 02:55:12
阅读次数：
394
swim（） 表示上浮：作者将其比喻为黑帮新人（插入的新元素），能力高（值大的）的被提升，将能力不够的前辈踩在脚下，直到遇到一个更强的领导。sink （）表示下沉：比喻为黑帮领导，能力不行的或退休的（删除）就被下属取代。每次帮派有新人加入，或有领到退休，帮内都必须重新论资排辈。这个比喻还是挺有意思的。...
分类：
其他好文 时间：
2014-05-12 23:37:49
阅读次数：
379
1.中断描述符表(IDT),将每个异常或中断向量分别与它们的处理过程联系起来。与GDT和LDT类似，IDT也是由8字节长度的描述符组成。IDT空描述符的存在标志位必须是0。IDT表可以驻留在线性地址空间的任何地方，处理器使用IDTR寄存器来定位IDT表的位置。
LIDT指令可以把内存中的限长值和基地址操作数加载到IDTR寄存器中，该指令仅能由当前特权级CPL是0的代码执行，通常被用于创建...
分类：
其他好文 时间：
2014-05-11 20:12:21
阅读次数：
310
在看这一章之前，建议大家先去看一下snapshot的使用。可能有人会有疑问为什么要做Snapshot，hdfs不是自带了3个备份吗，这是个很大的误区，要知道hdfs的3个备份是用于防止网络传输中的失败或者别的异常情况导致数据块丢失或者不正确，它不能避免人为的删除数据导致的后果。它就想是给数据库做.....
分类：
其他好文 时间：
2014-05-10 23:14:45
阅读次数：
519
1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
spark shuffle流程分析
回到ShuffleMapTask.runTask函数
现在回到ShuffleMapTask.runTask函数中：
overridedef runTask(context:TaskContext):
MapStatus = {
首先得到要reduce的task的个数。
valnumOutputSplits=
dep.partitioner.num...
分类：
其他好文 时间：
2014-05-09 22:58:33
阅读次数：
574
我们可以知道每行最多可以有多少个格子不用建点，设为x[i]，每列同理设为y[i]，那么我们连接(source,i,x[i]),(i,sink,y[i])表示我们将一个格子不建点，那么(i,j,flag[i][j])，当i,j这个格子可以建点的时候连边表示我们不在这个格子建点，那么n*m-k-最大.....
分类：
其他好文 时间：
2014-05-09 09:13:42
阅读次数：
249
