Hbase是一个分布式,版本化(versioned)，构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper，构造HDFS基础上的分布式Hbase。1 安装环境操作系统：Ubuntu-12.04 JDK版本：jdk1.7.0_51 计算....
分类：
其他好文 时间：
2014-06-26 00:31:04
阅读次数：
302
一、控制Hive中Map和reduce的数量Hive中的sql查询会生成执行计划，执行计划以MapReduce的方式执行，那么结合数据和集群的大小，map和reduce的数量就会影响到sql执行的效率。除了要控制Hive生成的Job的数量，也要控制map和reduce的数量。1、map的数量，通常情...
分类：
其他好文 时间：
2014-06-23 07:48:43
阅读次数：
288
局域网 两台机 192.168.1.2 我们称为A机器 192.168.1.3 我们称为B机器 配置集群的时候,从A或者是B的web后台都可以添加, 在这里 我们以 A机器为主 目前A机器里面 有桶一个 default ,数据不多 目前B机器里面 有桶2个 分别是 default 和 needpwd...
分类：
其他好文 时间：
2014-06-23 06:36:35
阅读次数：
238
Spark Application可以在集群中并行运行，其关键是抽象出RDD的概念（详见RDD
细解），也使得Spark Application的开发变得简单明了。下图浓缩了Spark的编程模型。
1：Spark应用程序的结构
Spark应用程序可分两部分：driver部分和executor部分初始化SparkContext和主体程序
...
分类：
其他好文 时间：
2014-06-22 21:48:06
阅读次数：
311
Ribbon 是 Netflix 发布的云中间层服务开源项目，其主要功能是提供客户侧软件负载均衡算法，将 Netflix 的中间层服务连接在一起。本文结合 Wowza 流媒体部署案例，介绍 Ribbon 在集群流媒体服务中的应用。...
分类：
其他好文 时间：
2014-06-22 19:36:35
阅读次数：
224
1.Zookeeper是什么？
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务。ZooKeeper的设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构。他的数据都存在内存中，所以速度非常快，当然为了避免内存数据的丢失，所以数据也可以同时保存在硬盘上。
2.Zookeeper能做什么？
场景一：有一组服务器向客户端提供某种服务（例如：我前面做的分布式网...
分类：
其他好文 时间：
2014-06-22 16:55:46
阅读次数：
216
管理voting disks
一、关于voting disk 的一些必须要知道的东西：
11g 以前我们可以使用dd 命令来备份voting disk ，但是在11g 以后 oracle 不再支持使用 dd 来备份voting disk。
如果使用 dd or cp 命令可能会破坏 集群件堆栈的正常启动。
voting disk 会作为OCR的一部分自动备份，并且当有新 votin...
分类：
其他好文 时间：
2014-06-22 15:02:11
阅读次数：
183
最近的项目中使用了EJB。当时就只知道怎么用，没有深入的去理解。当完成这个项目之后，再回顾项目中使用的技术、框架以及工具的时候，突然感觉对EJB这个概念很是模糊，于是上网搜一些资料。但是，很多的资料都是“官方语言”，没有我想要的答案，但是机缘巧合下，发现了一篇能够给我解惑的文章，这里就节选一部分（查看全文）。
1. 我们不禁要问，什么是"服务集群"？什么是"企业级开发"？
既然说了EJB ...
分类：
其他好文 时间：
2014-06-22 14:25:21
阅读次数：
145
六、Hadoop1.x与Hadoop2的区别1、变更介绍Hadoop2相比较于Hadoop1.x来说，HDFS的架构与MapReduce的都有较大的变化，且速度上和可用性上都有了很大的提高，Hadoop2中有两个重要的变更：l HDFS的NameNodes可以以集群的方式布署，增强了NameNodes的水平扩展能力和可用性；l MapReduce将JobTracker中的资源管理及任务生命周期管理...
分类：
其他好文 时间：
2014-06-22 14:07:49
阅读次数：
256
刚接触一些Apache Kafka的内容，用了两天时间研究了一下，仅以此文做相关记录，以供学习交流。概念:kafka依赖的项：1.硬件上，kafka利用线性存储来进行硬盘直接读写。2.kafka没有使用内存作为缓存。3.用zero-copy。4.Gzip和Snappy压缩，5.kafka对事务处理比...
分类：
其他好文 时间：
2014-06-20 18:18:45
阅读次数：
329
