要求： 分布在不同机器上的进程，同时扫描某个ftp目录，得到文件目录，下载文件，但是要保证每个文件都只被一个进程获取思路：1. 文件以RW方式打开，比较暴力 ，另FTP支持RW方式打开吗。。。没了解过2. 实现一个分布式锁， 2.1 redis: redis单机的事务能否实现？ 应该可以，...
分类：
其他好文 时间：
2014-12-03 18:34:12
阅读次数：
252
要求
客户端有四个要求:
这需要作为参数: zookpeer的服务地址、znode的名字、将输出写入到一个文件的名称、一个可执行的参数。
它与znode获取相关的数据并开始执行。
如果znode发生变化,重启客户端重新提取内容和可执行文件。
如果znode消失,客户端可进行线程销毁。
程序设计
一般来说,zookpeer应用被分解成两个部分,一个保持...
分类：
编程语言 时间：
2014-12-03 14:21:47
阅读次数：
271
下面我们来看下开源dubbo推荐的业界成熟的zookeeper做为注册中心， zookeeper是hadoop的一个子项目是分布式系统的可靠协调者，他提供了配置维护，名字服务，分布式同步等服务。对于zookeeper的原理本文档不分析，后面有时间在做专题。
zookeeper注册中心
Zookeeper对数据存储类似linux的目录结构，下面给出官方文档对dubbo注册数据的存储示例...
分类：
其他好文 时间：
2014-12-02 22:40:30
阅读次数：
346
一种方式是通过调用ClientGlobal类的初始化方法对配置文件进行加载，另一种是通过调用API逐一设置配置参数。后一种方式对于使用Zookeeper等加载属性的方式很方便。1. 加载配置文件：[java] view plaincopyprint?String configFileName = "...
1.为了解决分布式事务性一致的问题
2.文件系统也是一个树形的文件系统，但比linux系统简单，不区分文件和文件夹，所有的文件统一称为znode
3.znode的作用：存放数据，但上限是1M ;存放ACL(access control list)访问控制列表，每个znode被创建的时候，都会带有一个ACL，身份验证方式有三种：digest(用户名密码验证)，host(主机名验证)，ip(ip验...
分类：
其他好文 时间：
2014-11-30 00:41:16
阅读次数：
231
1.hbase利用hdfs作为其文件存储系统，利用mapreduce来处理数据，利用zookeeper作为协调工具
2.行键（row key），类似于主键，但row key是表自带的
3.列族（column family） ,列（也称作标签/修饰符）的集合，定义表的时候指定的，列是在插入记录的时候动态增加的
hbase表中的数据，每个列族单独一个文件
4.timestamp 是列的一个属性...
分类：
其他好文 时间：
2014-11-30 00:41:00
阅读次数：
158
HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协同服务。1. 简介HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtab...
分类：
系统相关 时间：
2014-11-27 22:00:10
阅读次数：
291
本文翻译自hadoop官网的ResourceManager Restart一文，主要讲解了ResourceManager在遇到故障重启后而不影响重启前的应用程序的特性，以及如何配置ResourceManager重启...
分类：
其他好文 时间：
2014-11-27 16:29:15
阅读次数：
591
Hadoop家族系列文章， 主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra...
分类：
其他好文 时间：
2014-11-26 14:09:05
阅读次数：
352
网络参考资料https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/http://agapple.iteye.com/blog/1111377http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.htmlZookeeperGoogleChubby的开源实现用于协调分布式系统上的各种服务,例如确认消息是否准确到达..
分类：
其他好文 时间：
2014-11-26 06:46:20
阅读次数：
155
