目的:本文描述怎么安装和配置一个单结点的Hadoop,以便搭建能快速简单操作和使用Hadoop的MapReduce和Hadoop的分布式文件系统(HDFS);先决条件:支持的平台GNU/Linux
可用作开发和生产平台. Hadoop 在GNU/Linux clusters with 2000 no...
分类:
其他好文 时间:
2014-07-22 23:14:55
阅读次数:
435
Git是一个开源的分布式版本控制系统,用以有效、高速的处理从很小到非常大的项目版本管理。Git是Linus
Torvalds为了帮助管理Linux内核开发而开发的一个开放源码的版本控制软件。作为一个开源的分布式版本控制系统,用以有效、高速的处理从很小到非常大的项目版本管理,而且正变得越来越流行了。最...
分类:
其他好文 时间:
2014-07-22 23:10:54
阅读次数:
338
基础配置:Hadoop 2.2.0,Hbase
0.96。四台集群机器,一台master,三台slave。三台slave上分别装gmond;namenode机器上设置datasource。客户端:安装wget:sudo
yum -y install wget安装epel库: a) 下载epel r....
分类:
其他好文 时间:
2014-07-22 23:08:34
阅读次数:
573
1. 下载YCSB 0.1.3:wget
https://github.com/brianfrankcooper/YCSB/archive/0.1.3.tar.gz2. 解压缩:tar zxvf
0.1.3.tar.gz3.安装ant:sudo yum install ant4.把hadoop和hb...
分类:
其他好文 时间:
2014-07-22 23:08:34
阅读次数:
412
在使用ElasticSearch的时候,我们需要与Cluster通信,Java版本的API提供了几种方式来构造Client,进而通过Client操作Cluster。1)使用Node与clustor通信原理:通过在程序中创建一个嵌入es节点(Node),使之成为ElasticSearch集群的一部分,...
分类:
其他好文 时间:
2014-07-22 23:08:14
阅读次数:
315
一.环境软件:apache-tomcat-7.0.53.tar.gzsolr-4.7.1.tgzzookeeper-3.4.6.tar.gz规划:三个节点IP:192.168.50.9192.168.50.227192.168.20.32请配置每台机器上hosts文件,使每个节点都能通过机器名访问
...
分类:
其他好文 时间:
2014-07-22 23:06:15
阅读次数:
494
CentOS 6.4 64位 源码编译hadoop 2.2.0搭建环境:Centos 6.4
64bit1、安装JDK参考这里2、安装mavenmaven官方下载地址,可以选择源码编码安装,这里就直接下载编译好的wget
http://mirror.bit.edu.cn/apache/maven/m...
分类:
其他好文 时间:
2014-05-01 15:17:23
阅读次数:
524
以下主要讲解了Hadoop的文件读写操作流程:读文件 读文件时内部工作机制参看下图:
客户端通过调用FileSystem对象(对应于HDFS文件系统,调用DistributedFileSystem对象)的open()方法来打开文件(也即图中的第一步),DistributedFileSystem通.....
分类:
其他好文 时间:
2014-04-30 13:39:04
阅读次数:
375
前几天在安装一套RAC服务器的过程中,遇到了蓝屏事件,折腾了蛮久(在排查是否存在硬件问题上花费了相当多一部分时间),整个过程大概说明如下: 1、两台华为的PC
SERVER,操作系统为WIN SERVER 2008 R2,装11.2.0.3的Oracle集群。 2、第一次安装到准备在第二节点...
分类:
数据库 时间:
2014-04-29 17:13:28
阅读次数:
830
引自:http://www.ibm.com/developerworks/cn/linux/l-linux-filesystem/在文件系统方面,Linux?
可以算得上操作系统中的 “瑞士军刀”。Linux 支持许多种文件系统,从日志型文件系统到集群文件系统和加密文件系统。对于使用标准的和比较奇特...
分类:
系统相关 时间:
2014-04-29 10:44:45
阅读次数:
678