最近遇到了一个问题，执行start-all.sh的时候发现JPS一下namenode没有启动
每次开机都得重新格式化一下namenode才可以
其实问题就出在tmp文件，默认的tmp文件每次重新开机会被清空，与此同时namenode的格式化信息就会丢失
于是我们得重新配置一个tmp文件目录
首先在home目录下建立一个...
分类：
其他好文 时间：
2015-06-04 01:06:31
阅读次数：
122
1.hadoop的分布式安装过程
1.1 分布结构
主节点(1个,是hadoop0):NameNode、JobTracker、SecondaryNameNode
从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker
1.2 各节点重新产生ssh加...
分类：
其他好文 时间：
2015-06-03 23:32:38
阅读次数：
151
Hadoop部署 Ubuntu14.04 Hadoop有3种部署方式。单机模式，伪分布模式，完全分布式（集群，3个节点）。一、单机模式1 基础环境1.1创建hadoop用户组sudo addgroup hadoop1.2创建hadoop用户sudo adduser -ingroup hadoop h...
分类：
系统相关 时间：
2015-06-02 17:25:12
阅读次数：
375
集群的概念
计算机集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。
集群系统中的单个计算机通常称为节点，通常通过局域网连接。
集群技术的特点：
1、通过多台计算机完成同一个工作。达到更高的效率
2、两机或多机内容、工作过程等完全一样。如果一台死机，另一台可以起作用
集群模式安装步骤
(在伪分布模式下...
分类：
其他好文 时间：
2015-06-01 22:40:30
阅读次数：
236
1、去官网下载zookeeper，我这里用的是3.4.6版本的2、下载完成解压缩到一个目录3、因为是伪分布式，所以我创建了3个服务器文件夹，比如server1,server2,server3。每个服务器文件夹下都创建了data,dataLog,logs目录。然后把解压完成的zookeeper拷贝到每...
分类：
其他好文 时间：
2015-05-29 22:56:32
阅读次数：
222
网络拓扑：参考：http://blog.csdn.net/lastsweetop/article/details/9065667分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络...
分类：
其他好文 时间：
2015-05-23 19:54:41
阅读次数：
176
Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理
1. ZooKeeper是否对ZNode有大小限制
如果你仔细看过ZooKeepe...
分类：
其他好文 时间：
2015-05-21 19:41:23
阅读次数：
157
一、安装系统
虚拟软件 ： VMware workstation 10
系统： Centos 6.4 32bit
Master IP : 192.168.56.131
Slave IP : 192.168.56.132
User & pass: hadoop
注：一台充当master(namenode)，一台充当slave(datanode)。这是最小...
分类：
其他好文 时间：
2015-05-15 19:57:42
阅读次数：
128
Mongodb集群部署以及集群维护命令 http://lipeng200819861126-126-com.iteye.com/blog/1919271 mongodb分布式集群架构及监控配置 http://freeze.blog.51cto.com/1846439/884925/ 见文中：? ????七、监控配置...
分类：
数据库 时间：
2015-05-12 16:01:57
阅读次数：
181
Redis3.0版之前未支持集群功能，一般通过结合Twemproxy（Twitter出品）或者Codis（豌豆荚使用）来实现分布式集群，性能和稳定性都还不错，只是配置和管理方面仍显复杂。新发布的3.0版现已默认内置支持集群功能。Redis通过分区来保障集群的可用性，即使部分节点失效或者无法连接..
分类：
其他好文 时间：
2015-05-08 18:23:58
阅读次数：
126
