我们以前使用过的对hbase和hdfs进行健康检查，及剩余hdfs容量告警，简单易用
#/bin/bash
bin=`dirname $0`
bin=`cd $bin;pwd`
STATE_OK=0
STATE_WARNING=1
STATE_CRITICAL=2
STATE_UNKNOWN=3
STATE_DEPENDENT=4
source /etc/...
分类：
其他好文 时间：
2014-12-10 12:40:37
阅读次数：
171
在测试环境准备测试FastCopy，因为之前只有一个NS，准备增加一个NS也便于测试，一切都准备妥当之后，重启DN，但是DN死活连接不上新的NN，报以下错误：...
分类：
其他好文 时间：
2014-12-09 23:09:47
阅读次数：
262
Hadoop，HBase，Storm，Spark到底是什么？
Hadoop=HDFS+Hive+Pig+......
分类：
其他好文 时间：
2014-12-09 17:45:22
阅读次数：
183
查看日志：/home/nbu/xu/hadoop/logs/
vi hadoop-nbu-datanode-hadoop211.log
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /home/nbu/xu/app/had...
分类：
其他好文 时间：
2014-12-09 15:44:05
阅读次数：
137
1 Hbase日常运维1.1 监控Hbase运行状况1.1.1 操作系统1.1.1.1 IO 群集网络IO，磁盘IO，HDFS IOIO越大说明文件读写操作越多。当IO突然增加时，有可能：1.compact队列较大，集群正在进行大量压缩操作。2.正在执行mapreduce作业可以通过CDH前台查看整...
分类：
其他好文 时间：
2014-12-09 13:48:38
阅读次数：
11902
本文介绍如何使用shell命令方便的操作hadoop...
分类：
系统相关 时间：
2014-12-09 10:34:31
阅读次数：
349
Hadoop下HDFS文件系统在这里我们对Hadoop的基本概念，历史功能就不做过多的阐述，重点在对于他的文件系统做一些了解和阐述。HDFS（Hadoopdistributedfilesystem）是一个分布式文件系统。具有高容错性（fault-tolerant），使得他能够部署在低廉的硬件上。他可以提供高吞吐率来访..
分类：
其他好文 时间：
2014-12-09 02:03:50
阅读次数：
269
1.HDFS的定义与特色以文件为基本存储单位的劣势：难以实现负载均衡——文件大小不同，负载均衡难实现；用户自己控制文件大小； 难以实现并行化处理——只能利用一个节点资源处理一个文件，无法动用集群资源；HDFS的定义：易于扩展的分布式文件系统；运行在大量廉价机器上，提供容错...
分类：
其他好文 时间：
2014-12-08 21:12:24
阅读次数：
268
putmerge程序的大体流程是？ 1、根据用户定义的参数设置本地目录和HDFS的目录文件 2、提取本地输入目录中每个文件的信息 3、创建一个输出流写入到HDF文件 4、遍历本地目录中的每个文件，打开一个输入流来读取该文...
分类：
其他好文 时间：
2014-12-08 18:03:01
阅读次数：
182
