1 Lustre概述Lustre是面向集群的存储架构，它是基于Linux平台的开源集群（并行）文件系统，提供与POSIX兼容的文件系统接口。Lustre两个最大特征是高扩展性和高性能，能够支持数万客户端系统、PB级存储容量、数百GB的聚合I/O吞吐量。Lustre是Scale-Out存储架构，借助强...
分类：
其他好文 时间：
2014-06-29 00:39:13
阅读次数：
253
对于kafka的consumer接口，提供两种版本， high-level 一种high-level版本，比较简单不用关心offset, 会自动的读zookeeper中该Consumer group的last offset 参考，https://cwiki.apache.org/confluence...
分类：
其他好文 时间：
2014-06-28 22:39:15
阅读次数：
1224
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以及基于消息的协调机制不适合在某些...
分类：
其他好文 时间：
2014-06-21 08:57:48
阅读次数：
430
mysql集群ndb和drdb那个比较好一些，我数据日访问量500w数据，数据达到T级别http://zhidao.baidu.com/link?url=dbpH5rI2o-XcscD8beSZrDvQxyG4vkUYFIRf58ARc-vKuuSA3ACvBYM3ewnazqqFEyeB2ZRPC...
分类：
数据库 时间：
2014-06-20 23:06:12
阅读次数：
294
本文分析了Spark1.0.0的Client，Master和Worker之间是如何通信的。通过对通信的分析，可以清楚的理解各个角色的作用和责任，和它在集群中扮演的不同角色。
当然了，为了便于源码分析，本文开始分析了akka，一个非常优秀的actor的实现：高性能，易于编程，可扩展和弹性无中心。...
分类：
其他好文 时间：
2014-06-18 06:59:54
阅读次数：
183
Shark是基于Spark与Hive之上的一种SQL查询引擎。...
分类：
其他好文 时间：
2014-06-18 06:54:00
阅读次数：
286
高可用，多路冗余GFS2集群文件系统搭建详解2014.06标签：GFS2 multipath 集群文件系统 cmirror实验拓扑图：实验原理：实验目的：通过RHCS集群套件搭建GFS2集群文件系统，保证不同节点能够同时对GFS2集群文件系统进行读取和写入，其次通过multipath实现node和F...
分类：
其他好文 时间：
2014-06-17 23:32:14
阅读次数：
957
最近在测试rsync+inotify的方式同步PHP代码到一个集群下的WEB服务器。如被监控的目录是/var/www/html下有三个目录dream_androiddream_iosgame_router当我把dream_android这个目录更名为android后，发现其他服务器上没有出现android并且原有的dream_android并没有被删除。测试游..
分类：
其他好文 时间：
2014-06-17 18:32:29
阅读次数：
240
前言：上文介绍了高可用集群的基本概念，下面让我们来试试用两台提供web服务的虚拟机来实现一个小小的高可用集群吧～首先，配置一个高可用集群的前提有：1.至少两个节点；2.共享存储（为了提供的页面一致，需要在后端用某些机制来实现。这里我们就做个简单的实验，后端存储先不..
分类：
其他好文 时间：
2014-06-17 17:23:46
阅读次数：
262
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase, Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie, Cassandra, Hama, Whirr, Flume, Bigtop, Crunch, Hue等。
从2011年开始，中国进入大数据风起云...
分类：
其他好文 时间：
2014-06-17 16:44:25
阅读次数：
310
