尝试了简单的安装hadoop2后，我们再来尝试一下hdfs的一项新功能：FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式，每个namenode属于不同的namespace。下面是我们的安装信息Hadoop
版本:2.2.0OS 版本: Ce...
分类：
其他好文 时间：
2014-05-17 10:54:41
阅读次数：
518
在2014年4月7日，Apache发布了Hadoop 2.4.0 。相比于hadoop 2.3.0，这个版本有了一定的改进，突出的变化可以总结为下列几点（官方文档说明）：
1 支持HDFS访问控制列表（ACL，Access Control Lists）
这个特性解决了在一定情况下，文件权限访问的权限问题。其机制是基于Linux文件访问权限的特征，如果你熟悉Linux的文件访问机...
分类：
其他好文 时间：
2014-05-13 09:03:36
阅读次数：
326
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top input out...
分类：
其他好文 时间：
2014-05-13 06:53:12
阅读次数：
448
堆排序分为两个阶段：1、将原始数组组装成一个堆；2、从堆顶逐个取出元素并得到排序结果。（如果是最大堆，则是重复删除最大元素，然后从后往前放入到数组。）
用sink（）只需扫描数组中的一半元素。
堆排序可以不需要额外的空间，最优的利用空间和时间。可用于嵌入式系统。缺点：无法利用缓存，影响缓存命中。...
分类：
其他好文 时间：
2014-05-13 05:43:27
阅读次数：
207
2014-05-12注定是春光灿烂猪八戒的一天，历史595无故障的hadoop服务器，终于还是出了问题，事前无人登陆操作服务器，此故障属于自发行为，目前未知发生原因。细节描述：namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类：
其他好文 时间：
2014-05-13 02:55:12
阅读次数：
394
swim（） 表示上浮：作者将其比喻为黑帮新人（插入的新元素），能力高（值大的）的被提升，将能力不够的前辈踩在脚下，直到遇到一个更强的领导。sink （）表示下沉：比喻为黑帮领导，能力不行的或退休的（删除）就被下属取代。每次帮派有新人加入，或有领到退休，帮内都必须重新论资排辈。这个比喻还是挺有意思的。...
分类：
其他好文 时间：
2014-05-12 23:37:49
阅读次数：
379
在看这一章之前，建议大家先去看一下snapshot的使用。可能有人会有疑问为什么要做Snapshot，hdfs不是自带了3个备份吗，这是个很大的误区，要知道hdfs的3个备份是用于防止网络传输中的失败或者别的异常情况导致数据块丢失或者不正确，它不能避免人为的删除数据导致的后果。它就想是给数据库做.....
分类：
其他好文 时间：
2014-05-10 23:14:45
阅读次数：
519
1. Hadoop中遇到的问题
以前所遇到的问题由于没有记录,所以忘了
(1)NameNode没有启动成功, 是由于你对HDFS多次格式化,导致datanode中与namenode中的VERSION文件中的namespaceID不一致(对于NameNode节点,该文件位于hdfs-site配置文件中dfs.name.dir参数所指定的路径下的current文件夹中, 对于DataNode节点...
分类：
其他好文 时间：
2014-05-10 04:28:25
阅读次数：
475
我们可以知道每行最多可以有多少个格子不用建点，设为x[i]，每列同理设为y[i]，那么我们连接(source,i,x[i]),(i,sink,y[i])表示我们将一个格子不建点，那么(i,j,flag[i][j])，当i,j这个格子可以建点的时候连边表示我们不在这个格子建点，那么n*m-k-最大.....
分类：
其他好文 时间：
2014-05-09 09:13:42
阅读次数：
249
版本：cdh5.0.0+hadoop2.3.0+hbase0.96.1.1+Spoon5.0.1一、HBase数据导入HBase数据导入使用org.apache.hadoop.hbase.mapreduce.ImportTsv 的两种方式，一种是直接导入，一种是转换为HFile，然后再次导入。1. HDFS数据为（部分）：[root@node33 data]# hadoop fs -ls /inp...
分类：
其他好文 时间：
2014-05-09 00:25:48
阅读次数：
515
