简介
本文档对从 Apache Hadoop 1.x 迁移他们的Apache Hadoop MapReduce 应用到
Apache Hadoop 2.x 的用户提供了一些信息。
在 Apache Hadoop 2.x 中，我们已经把资源管理功能放入 分布式应用管理框架 的Apache
Hadoop YARN,而 Apache Hadoop MapReduce (亦称 MRv2) 保持...
分类：
其他好文 时间：
2014-05-14 00:55:11
阅读次数：
294
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop dfs -rmr output
Deleted hdfs://localhost:9000/user/lk/output
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/mytopk.jar top.Top input out...
分类：
其他好文 时间：
2014-05-13 06:53:12
阅读次数：
448
环境说明
1、硬件说明
使用三台PC机，角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、pytho...
分类：
其他好文 时间：
2014-05-13 05:44:31
阅读次数：
345
lk@lk-virtual-machine:~/hadoop-1.0.1/bin$ ./hadoop jar ~/hadoop-1.0.1/to.jar top.Top input output
14/05/12 03:44:37 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applicat...
分类：
其他好文 时间：
2014-05-13 05:38:18
阅读次数：
291
2014-05-12注定是春光灿烂猪八戒的一天，历史595无故障的hadoop服务器，终于还是出了问题，事前无人登陆操作服务器，此故障属于自发行为，目前未知发生原因。细节描述：namenode无法启动.先贴出错误信息2014-05-1207:17:39,447INFOorg.apache.hadoop.hdfs.server.namenode.Name..
分类：
其他好文 时间：
2014-05-13 02:55:12
阅读次数：
394
使用两台LTM1600做HA,并且后端的真实机运行在不同vlan，而且vlan数远远大与物理接口数.故需要做逻辑接口,每个逻辑接口对应不同的vlan号.逻辑网络图接口表:角色F5接口交换机接口绑定+trunkTrunkVlan主2.1,2.2Gi1/0/27,Gi1/0/28PortChannel1ExterExter1.1,1.2Gi1/0/5,Gi1/0/6Port..
分类：
其他好文 时间：
2014-05-13 02:49:03
阅读次数：
356
一、概述本文将粗略讲述一下Hash算法的概念特性，里边会结合分布式系统负载均衡实例对Hash的一致性做深入探讨。另外，探讨一下Hash算法在海量数据处理方案中的通用性。最后，从源代码出发，具体分析一下Hash算法在MapReduce框架的中的应用。二、Hash算法Hash可以通过散列函数将..
分类：
其他好文 时间：
2014-05-13 01:34:11
阅读次数：
421
lvs的DR方式次实验的前提是前面的heartbeat-HA已经做好，在HA主机上，先停掉heartbeat服务/etc/init.d/heartbeatstop/etc/init.d/ipvsadmstop/etc/init.d/heartbeatstop/etc/init.d/ipvsadmstop在RS主机上arptables-L查看arptables的设置server17上ifconfigeth0:0192.168.0.92n..
分类：
其他好文 时间：
2014-05-13 01:20:47
阅读次数：
457
在我们选择硬件的时候，往往需要考虑应用得到的性能和经费开支。为此，我们必须在满足实际需要和经济可行上找到一个完美的平衡。下面，以Hadoop集群应用为了例子，说明需要考虑的要素。
1. I/O绑定的工作负荷。
Hadoop涉及到的I/O操作，主要包括下列几项：
索引（Indexing）
群化（Grouping）
数据导入和导出（Data importing...
分类：
其他好文 时间：
2014-05-12 23:47:04
阅读次数：
536
学习大数据的处理，有必要读一下有关大数据的书籍。这里，我列举了几本书，仅供参考。
1 ZooKeeper: Distributed Process Coordination
这本书针对的是初级或者高级的开发，面向Zookeeper编程的工程师们。如果你的工程中（如HBase）涉及到Zookeeper的应用，有必要了解一下Zookeeper的管理知识和一些基本解...
分类：
其他好文 时间：
2014-05-12 22:46:32
阅读次数：
662
