集群安装总览参见这里Zookeeper的配置 1，/etc/profile中加入zk的路径设置，见上面背景说明。 2，进入~/zk/conf目录，复制zoo_sample.cfg为zoo.cfg vim zoo.conftickTime=2000initLimit=10syncLimit=5dat....
分类：
其他好文 时间：
2014-07-14 23:08:46
阅读次数：
430
??
本文讲的分布式文件系统，是通过集群来实现的，因此也是集群文件系统。本文介绍下分布式文件系统中的常见问题及GFS中给出的解决方法。
设计要点:
性能
提高性能的方法就是并行，讲一个任务分解成多个任务，同时执行。
GFS中的思路是将文件分块,每个块是一个chunk,每个chunk单独保存，保存chunk的节点叫chunkserver。对文件的读写，可以转成对chun...
分类：
其他好文 时间：
2014-06-17 23:00:34
阅读次数：
268
如何使用Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基...
分类：
编程语言 时间：
2014-06-14 22:05:43
阅读次数：
487
目前，为了使web能适应大规模的访问,需要实现应用的集群部署.
而实现集群部署首先要解决session的统一，即需要实现session的共享机制。目前，在集群系统下实现session统一的有如下几种方案：(1)
应用服务器间的session复制共享（如tomcat session共享）(2) 基于c...
分类：
其他好文 时间：
2014-06-02 07:17:44
阅读次数：
241
目的
此文档描述了如何为Hadoop配置和管理 Service Level Authorization 。
预备条件
确保已经安装Hadoop,配置和设置都正确了。更多细节，请看：* 首次使用者的单节点设置 * 大的、分布式集群的集群设置。
概览
Service Level Authorization 是一个必要的初始认证机制，其确保客户端连接到一个有必要的、预配置的、权...
分类：
其他好文 时间：
2014-05-21 08:13:32
阅读次数：
227
环境说明
1、硬件说明
使用三台PC机，角色分配如下
2、软件说明
约定所有软件都放在/usr/local/路径下
准备工作
1、安装jdk
2、配置SSH
Storm集群安装
安装流程图
1、安装Zookeeper集群
2、安装Storm依赖
zeromq、jzmq、pytho...
分类：
其他好文 时间：
2014-05-13 05:44:31
阅读次数：
345
能够将热爱的技术应用于实际生活生产中，是做技术人员向往和乐之不疲的事。
现将前期手里面的一个项目做一个大致的总结，与大家一起分享、交流、进步。项目现在正在线上运行，项目名——基于Hadoop的数据分析综合管理平台。
项目流程整体比较清晰，爬取数据（txt文本）-->数据清洗-->文本模型训练-->文本分类-...
分类：
其他好文 时间：
2014-05-04 00:22:05
阅读次数：
476
