Hadoop源代码分析（包hadoop.mapred中的MapReduce接口）
前面已经完成了对org.apache.hadoop.mapreduce的分析，这个包提供了Hadoop MapReduce部分的应用API，用于用户实现自己的MapReduce应用。但这些接口是给未来的MapReduce应用的，目前MapReduce框架还是使用老系统（参考补丁HADOOP-1230）。下面我们来分...
分类：
其他好文 时间：
2015-05-25 16:51:35
阅读次数：
146
HDFS的体系框架是Master/Slave结构，一个典型的HDFS通常由单个NameNode和多个DataNode组成。NameNode是一个中心服务器，负责文件系统的名字空间的操作，比如打开、关闭、重命名文件或目录，它负责维护文件路径到数据块的映射，数据块到DataNode的映射，以及监控DataNode的心跳和维护数据块副本的个数。集群中的DataNode一般是一个节点一个，负责管理它所在节...
分类：
其他好文 时间：
2015-05-25 16:46:16
阅读次数：
94
Redis 的 master/slave 数据复制方式可以是一主一从或者是一主多从的方式，Redis 在 master 是非阻塞模式，也就是说在 slave 执行数据同步的时候，master 是可以接受客户端的
请求的，并不影响同步数据的一致性，然而在 slave 端是阻塞模式的，slave 在同步 master 数据时，并不能够响应客户端的查询
Redis 的 master/slave...
分类：
其他好文 时间：
2015-05-25 16:36:19
阅读次数：
146
1)配置
当你调用create方法时将会加载两个配置文件:hbase-default.xml and hbase-site.xml,利用的是当前的java类路径，
代码中configuration设置的这些配置将会覆盖hbase-default.xml和hbase-site.xml中相同的配置,如果两个配置文件都存在并且都设置好了相应参上面的属性下面的属性即可
2)关于...
分类：
其他好文 时间：
2015-05-25 16:34:53
阅读次数：
120
接下来我们按照MapReduce过程中数据流动的顺序，来分解org.apache.hadoop.mapreduce.lib.*的相关内容，并介绍对应的基类的功能。首先是input部分，它实现了MapReduce的数据输入部分。类图如下：类图的右上角是InputFormat，它描述了一个MapReduceJob的输入，通过InputFormat，H..
分类：
其他好文 时间：
2015-05-22 19:43:08
阅读次数：
133
1.取整函数:round语法:round(doublea)返回值:BIGINT说明:返回double类型的整数值部分（遵循四舍五入）举例：hive>selectround(3.1415926)fromlxw_dual;3hive>selectround(3.5)fromlxw_dual;4hive>createtablelxw_dualasselectround(9542.158)fromlxw_dual;hive>des..
分类：
其他好文 时间：
2015-05-22 19:39:39
阅读次数：
187
Storm的并行度是非常重要的，通过提高并行度可以提高storm程序的计算能力。那strom是如何提高并行度的呢？Strom程序的执行是由多个supervisor共同执行的。supervisor运行的是topology中的spout/bolttasktask是storm中进行计算的最小的运行单位，表示是spout或者bolt的运行实例..
分类：
其他好文 时间：
2015-05-22 19:35:56
阅读次数：
121
由于Solr基于java开发，因此Solr在windows及Linux都能较好部署使用，但由于Solr提供了一些用于测试及管理、维护较为方便的shell脚本，因此在生产部署时候建议安装在Linux上，测试时候可以在windows使用。
下面以Linux下安装配置Solr进行说明，windows与此类似。
wgethttp://apache.mirror.phpchina.co ... e-...
分类：
其他好文 时间：
2015-05-22 19:17:24
阅读次数：
132
前言：无论是CM或者CDH使用的过程中，学习研究CDH使用、CDH升级、CM升级等等原因而考虑卸载CM、CDH，本教程使用于基于CM安装的CDH的卸载。当然，如果CDH采用独立安装方式安装，在删除对应目录时，更改相应目录即可，主要分为CM卸载和CDH卸载两部分，理论上使用于CDH4和CDH5的卸载（新版本如有更改则不适用）。
一、卸载CM：（CM主机执行）1、移除所有服务?
...
分类：
其他好文 时间：
2015-05-22 17:11:09
阅读次数：
920
在上一篇关于HBase的文章中曾经讲述过HBase在分布式中的架构，这篇文章将会讲述HBase在分布式环境中是如何排除单点故障的(SPFO)，做一个小实验讲述HBase在分布式环境中的高可用性，亲眼看到一些现象，延伸一些思考的话题。
先来回顾一下HBase主要部件：
1.HBaseMaster
2.HRegionServer
3.HBase Client
4...
分类：
其他好文 时间：
2015-05-22 17:08:48
阅读次数：
142
