分布式框架：
Zookeeper与paxos算法一、zookeeper是什么官方说辞：Zookeeper 分布式服务框架是Apache Hadoop
的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。好抽象，我们...
分类：
其他好文 时间：
2014-05-26 16:37:39
阅读次数：
300
zookeeper+kafka集群安装之zookeeper集群...
分类：
其他好文 时间：
2014-05-26 04:42:01
阅读次数：
190
apache kafka源代码分析工程搭建(IDEA)...
分类：
其他好文 时间：
2014-05-25 09:04:38
阅读次数：
416
zookeeper+kafka集群安装之二此为上一篇文章的续篇, kafka安装需要依赖zookeeper, 本文与上一篇文章都是真正分布式安装配置, 可以直接用于生产环境.zookeeper安装参考:http://blog.csdn.net/ubuntu64fan/article/details/26678877首先了解几个kafka中的概念:kafka是一个消息队列服务器,服务称为broker...
分类：
其他好文 时间：
2014-05-24 20:48:48
阅读次数：
269
原理
这个漏洞实际上非常简单，ElasticSearch有脚本执行(scripting)的功能，可以很方便地对查询出来的数据再加工处理。
ElasticSearch用的脚本引擎是MVEL，这个引擎没有做任何的防护，或者沙盒包装，所以直接可以执行任意代码。
而在ElasticSearch里，默认配置是打开动态脚本功能的，因此用户可以直接通过http请求，执行任意代码。
其实官方是清楚这个漏洞...
分类：
其他好文 时间：
2014-05-24 18:04:15
阅读次数：
223
1. kafka是一个分布式的消息发布-订阅队列。2. 其中有一些主要的概念： Topic:
就是对放入队列的消息进行分类，分类消息分开储存，比如现在有订单消息和用户投诉消息，则分成订单topic和投诉topic Message：
放入消息队列的一条一条的消息。 Producer： 消息的生...
分类：
其他好文 时间：
2014-05-24 11:45:13
阅读次数：
236
传统的消息模型有两种模型，队列模型和发布-订阅模式。
1. 队列形式中，一群消费者可能从server那边读消息，而每条消息会流向他们中的一个。
2. 发布-订阅模式中，消息会广播到所有它的消费者们那。
Kafka是使用consumer group这个概念（下面把它翻译为"消费组"），把两者结合了。。
消费者给自己标志了一个消费组名，每条新发布到topic的消息会被传递给订阅它的消费组里的消费者实例，这些消费者实例可以是不同的进程，存在在不同的机器上。
如果所有的消费者在同一个消费组里，那么这相当于是...
分类：
其他好文 时间：
2014-05-21 16:12:44
阅读次数：
279
主要介绍Hadoop家族产品，常用的项目包括Hadoop, Hive, Pig, HBase,
Sqoop, Mahout, Zookeeper, Avro, Ambari, Chukwa，新增加的项目包括，YARN, Hcatalog, Oozie,
Cassandra, Hama, Whirr,...
分类：
其他好文 时间：
2014-05-21 05:55:45
阅读次数：
280
这个类实现了一些工具性质的方法，正如其名。记下自己觉得有意思的方法：readFileAsString(path: String, charset:
Charset = Charset.defaultCharset()): String /** * Attempt to read a file ...
分类：
其他好文 时间：
2014-05-20 08:01:50
阅读次数：
223
前言1.
创建表：（由master完成）首先需要获取master地址（master启动时会将地址告诉zookeeper）因而客户端首先会访问zookeeper获取master的地址client和master通信，然后有master来创建表（包括表的列簇，是否cache，设置存储的最大版本数，是否压缩...
分类：
编程语言 时间：
2014-05-19 14:23:43
阅读次数：
392
