目的：本文描述怎么安装和配置一个单结点的Hadoop，以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件：支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类：
其他好文 时间：
2014-07-22 23:14:55
阅读次数：
435
基础配置:Hadoop 2.2.0，Hbase
0.96。四台集群机器，一台master，三台slave。三台slave上分别装gmond；namenode机器上设置datasource。客户端：安装wget：sudo
yum -y install wget安装epel库： a) 下载epel r....
分类：
其他好文 时间：
2014-07-22 23:08:34
阅读次数：
573
1. 下载YCSB 0.1.3：wget
https://github.com/brianfrankcooper/YCSB/archive/0.1.3.tar.gz2. 解压缩：tar zxvf
0.1.3.tar.gz3.安装ant：sudo yum install ant4.把hadoop和hb...
分类：
其他好文 时间：
2014-07-22 23:08:34
阅读次数：
412
CentOS 6.4 64位 源码编译hadoop 2.2.0搭建环境:Centos 6.4
64bit1、安装JDK参考这里2、安装mavenmaven官方下载地址，可以选择源码编码安装，这里就直接下载编译好的wget
http://mirror.bit.edu.cn/apache/maven/m...
分类：
其他好文 时间：
2014-05-01 15:17:23
阅读次数：
524
以下主要讲解了Hadoop的文件读写操作流程：读文件 读文件时内部工作机制参看下图：
客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通.....
分类：
其他好文 时间：
2014-04-30 13:39:04
阅读次数：
375
no datanode to stop; no namenode to stop; Bad
connection to FS. command aborted.; 网络时断时许错误;
分类：
其他好文 时间：
2014-04-29 20:35:45
阅读次数：
637
本文记录Hadoop 2.x在Linux x64下重新编译的过程。环境：Centos 6.5
x64 &Hadoop 2.2一、安装编译包yum install svnyum install autoconfautomake libtool
cmakeyum install ncurses-deve...
分类：
其他好文 时间：
2014-04-29 19:19:52
阅读次数：
451
作业
通信编码
假设通信的物理设备只能表示1和0两种状态。
1和0状态都不能持续太久，否则物理设备会出现故障。因而人们设计出一种变通的方法：
多个0后人为地补入一个1
多个1后人为地补入一个0
当然，在解码的时候，要相应处理。
下面我们用串来模拟这个算法。
假设有需要通信的串：
String s = "101010010010000101111010001010101010000...
分类：
其他好文 时间：
2014-04-27 21:42:01
阅读次数：
388
相信其它的地方大家都懂，这里重点说下面红色粗体部分 参数设置必须与系统的 ulimit -Sn 参数一致，并且 php-fpm.conf,nginx,conf中的设置要一致，否则会出现诸多历史遗留问题以及不和谐的ERROR WRING问题以下是nginx.conf里的一些 配置信息，重点说红色部分#user nobody;
user www www;
worker_processes auto...
分类：
Web程序 时间：
2014-04-27 21:21:06
阅读次数：
734
Hadoop从2.4.0版本开始支持hdfs的ACL，在CDH5.0当中也继承了该特性，下面对其进行一些测试：
一、启用ACL：
dfs.permissions.enabled
true
dfs.namenode.acls.enabled
true
二、测试ACL：
①
[hadoop@master ~]$ groups
hadoop
创建目录并上传文件：
[...
分类：
其他好文 时间：
2014-04-27 21:18:00
阅读次数：
306
