问题： 在Hadoop中，新建一个目录，报错了，提示mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory，该如何解决呢？...
分类：
其他好文 时间：
2014-05-22 11:31:11
阅读次数：
304
hadoop有种简化机制来管理job和control的非线性作业之间的依赖，job对象时mapreduce的表现形式。job对象的实例化可通过传递一个jobconf对象到作业的构造函数中来实现。
x.addDeopendingJob(y)意味着x在y完成之前不会启动。
鉴于job对象存储着配置和依赖信息，jobcontrol对象会负责监管作业的执行，通过addjob（），你可以为jobcont...
分类：
其他好文 时间：
2014-05-22 07:27:41
阅读次数：
287
import java.io.IOException;import
java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import
org.apache.hadoop.fs.Path;import org.ap...
分类：
其他好文 时间：
2014-05-22 01:11:55
阅读次数：
337
在centOS系统中，我添加了一个用户，但是在我执行su时，终端告诉我以上的错误，下面是我的解决过程：首先切换到root用户：给
etc/hosts读写的权限：使用vi功能打开sudoers文件，在root ALL=(ALL) ALL后面加入本用户的信息：hadoop ALL=(ALL)
ALL重新...
分类：
其他好文 时间：
2014-05-21 23:35:26
阅读次数：
347
Hadoop技术内幕中指出Top
K算法有两步，一是统计词频，二是找出词频最高的前K个词。在网上找了很多MapReduce的Top
K案例，这些案例都只有排序功能，所以自己写了个案例。这个案例分两个步骤，第一个是就是wordCount案例，二就是排序功能。一，统计词频 1 package
TopK;...
分类：
其他好文 时间：
2014-05-21 22:29:14
阅读次数：
599
A机器ssh登录B机器无需输入密码；当应用有服务器很多的时候输入密码很浪费时间
在Hadoop安装时要求免密码登录；一、创建在用户的home目录下创建 .ssh文件夹mkdir .ssh可以隐藏文件夹或文件内容ls -a二、
生成证书证书分为：dsa和rsassh-keygen -t rsa -P ...
分类：
系统相关 时间：
2014-05-21 06:01:09
阅读次数：
505
三种协议是用来实现FHRP，达到网关冗余的作用，从而以实现HA状态机HSRP状态机一、Initial：当一个接口还没有运行HSRP时，一般是指改变配置或接口刚刚激活时的状态二、Learn：学习状态，不知道虚拟IP，未看到活跃路由器发Hello。等待活跃路由器发hello。三、Listen：路由器已经..
分类：
其他好文 时间：
2014-05-21 00:34:19
阅读次数：
538
因为用的hadoop2.20所以下载sqoop-1.99.3-bin-hadoop200使用随便找一个hadoopnode节点做sqoopserver:1.下载安装[hadoop@slave1~]$wgethttp://mirror.bit.edu.cn/apache/sqoop/1.99.3/sqoop-1.99.3-bin-hadoop200.tar.gz[hadoop@slave1~]$tarxvfsqoop-1.99.3-bin-hadoop200.tar...
分类：
其他好文 时间：
2014-05-21 00:01:45
阅读次数：
439
前段时间遇到了一个很诡异的发生的Map阶段的OOM异常，花了些时间才找到原因，这个简要记录一下。先看log。节点一的TaskTracker的log：节点二的TaskTracker的log：节点三的TaskTracker的log：其他节点的TaskTracker中的log都和slave4的一样的：故障分析：OOM是一个比较常见的故..
分类：
其他好文 时间：
2014-05-20 22:15:47
阅读次数：
422
一、前言本篇博文只是实现Corosync+Pacemaker+DRBD+MySQL，实现MySQL的高可用。更多的基础知识在前几篇博文中已有涉猎，故更多的理论细节将不再此篇中详述。若想了解高可用基础知识，请参考：http://hoolee.blog.51cto.com/7934938/1406951若想了解Corosync+Pacemaker，请参考..
分类：
数据库 时间：
2014-05-20 20:58:29
阅读次数：
818
