目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
基础配置:Hadoop 2.2.0,Hbase
0.96。四台集群机器,一台master,三台slave。三台slave上分别装gmond;namenode机器上设置datasource。客户端:安装wget:sudo
yum -y install wget安装epel库: a) 下载epel r....
分类:
其他好文 时间:
2014-07-22 23:08:34
阅读次数:
573
以下主要讲解了Hadoop的文件读写操作流程:读文件 读文件时内部工作机制参看下图:
客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通.....
分类:
其他好文 时间:
2014-04-30 13:39:04
阅读次数:
375
1.Hadoop简介Hadoop[h?du:p]实现了一个分布式文件系统(Hadoop
Distributed File
System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高传输率(high
throughput)来访问应用程序的数...
分类:
其他好文 时间:
2014-04-30 03:17:00
阅读次数:
604
如果Hbase的时间没有同步,启动主节点会起来,子节点的regionServer就不会起来。错误日志如下:aused by:
org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.ClockOutO...
分类:
其他好文 时间:
2014-04-30 00:50:16
阅读次数:
565
no datanode to stop; no namenode to stop; Bad
connection to FS. command aborted.; 网络时断时许错误;
分类:
其他好文 时间:
2014-04-29 20:35:45
阅读次数:
637
本文记录Hadoop 2.x在Linux x64下重新编译的过程。环境:Centos 6.5
x64 &Hadoop 2.2一、安装编译包yum install svnyum install autoconfautomake libtool
cmakeyum install ncurses-deve...
分类:
其他好文 时间:
2014-04-29 19:19:52
阅读次数:
451
客户端在进行put、delete、get等操作的时候,它都需要数据到底存在哪个Region
Server上面,这个定位的操作是通过HConnection.locateRegion方法来完成的。loc =
hConnection.locateRegion(this.tableName, row.g.....
分类:
其他好文 时间:
2014-04-28 11:46:09
阅读次数:
498
所需工具1.Windows 7 32 Bit OS(你懂的)2.Apache Hadoop
2.2.0-bin(hadoop-2.2.0.tar.gz)3.Apache Hadoop
2.2.0-src(hadoop-2.2.0-src.tar.gz)3.JDK 1.74.Maven 3.2.1(a...
分类:
Windows程序 时间:
2014-04-28 08:33:25
阅读次数:
1187
hbase的源码终于搞一个段落了,在接下来的一个月,着重于把看过的源码提炼一下,对一些有意思的主题进行分享一下。继上一篇讲了负载均衡之后,这一篇我们从client开始讲吧,从client到master再到region
server,按照这个顺序来开展,网友也可以对自己感兴趣的部分给我留言或者直接.....
分类:
其他好文 时间:
2014-04-27 17:34:53
阅读次数:
790