下面我们来分析FSDirectory。其实分析FSDirectory最好的地方，应该是介绍完INode*以后，FSDirectory在INode*的基础上，保存了HDFS的文件目录状态。系统加载FSImage时，FSImage会在FSDirectory对象上重建文件目录状态，HDFS文件目录状态的变化，也由FSDirectory写日志，同时，它..
分类：
其他好文 时间：
2015-05-29 18:31:08
阅读次数：
222
“Stream”是Trident中的核心数据模型，它被当做一系列的batch来处理。在Storm集群的节点之间，一个stream被划分成很多partition（分区），对流的操作（operation）是在每个partition上并行进行的。注：①“Stream”是Trident中的核心数据模型：有些地方也说是TridentTuple，没..
Hive元数据存储Hive将元数据存储在RDBMS中，有三种模式可以连接到数据库：SingleUserMode：此模式连接到一个In-memory的数据库Derby，一般用于UnitTest。MultiUserMode：通过网络连接到一个数据库中，是最经常使用到的模式。RemoteServerMode：用于非Java客户端访问元数据库，..
分类：
其他好文 时间：
2015-05-29 18:30:08
阅读次数：
144
HMaster的RPC接口，分两类：HMaster与RegionServer通讯接口，总共只有两个-->regionServerStartup:当regionserver启动时会调用该接口-->将发请起求的RS的信息写入serverInfo，注意这里的hostname为master所识别的hostname，而非RS告诉master的-->调用serverManager的r..
分类：
其他好文 时间：
2015-05-29 18:25:03
阅读次数：
122
Docker存储池扩容如果在CentOS、REHL、Fedor或者其他默认没有AUFS支持的Linux发行版上使用Docker，你可能需要用到DeviceMapper的存储插件。将这个插件设置为默认，它会把你所有的容器存储到一个100G的简短文件中，并且限制每个容器最大为10GB。这篇文章将展示如何突破这个限制..
分类：
其他好文 时间：
2015-05-29 18:24:53
阅读次数：
123
相似匹配在我们使用网页搜索时，会注意到每一个结果都包含一个“相似页面”链接，单击该链接，就会发布另一个搜索请求，查找出与起初结果类似的文档。Solr使用MoreLikeThisComponent（MLT）和MoreLikeThisHandler实现了一样的功能。如上所述，MLT是与标准SolrRequestHandler集..
分类：
其他好文 时间：
2015-05-29 18:24:13
阅读次数：
122
一、特殊编码：自从Redis2.2之后，很多数据类型都可以通过特殊编码的方式来进行存储空间的优化。其中，Hash、List和由Integer组成的Sets都可以通过该方式来优化存储结构，以便占用更少的空间，在有些情况下，可以省去9/10的空间。这些特殊编码对于Redis的使用而言是完全透明的..
分类：
其他好文 时间：
2015-05-29 18:23:35
阅读次数：
125
根类图12展示了Scala类的层次结构。层次结构的根是类Any。Scala执行环境中的每个类都直接或间接地继承自该类。类Any有两个直接子类：AnyRef和AnyVal。子类AnyRef表示在宿主系统中表示为一个对象的所有值。所有用户定义的Scala类都直接或间接的继承自该类。更进一步，所有用户定..
分类：
其他好文 时间：
2015-05-29 18:22:34
阅读次数：
278
Es查询的时候默认是随机从一些分片中查询数据，可以通过配置让es从某些分片中查询数据
1：_local
指查询操作会优先在本地节点有的分片中查询，没有的话再在其它节点查询。
2：_primary：指查询只在主分片中查询
3：_primary_first：指查询会先在主分片中查询，如果主分片找不到（挂了），就会在副本中查询。
4：_only_node：指在指定id的节点里...
分类：
其他好文 时间：
2015-05-29 18:17:34
阅读次数：
132
下面我们来分析FSDirectory。其实分析FSDirectory 最好的地方，应该是介绍完INode*以后，FSDirectory 在INode*的基础
上，保存了HDFS 的文件目录状态。系统加载FSImage 时，FSImage 会在FSDirectory 对象上重建文件目录状态，HDFS 文件目录
状态的变化，也由FSDirectory 写日志，同时，它保存了文件名数据块的映射关系。...
分类：
其他好文 时间：
2015-05-29 18:15:11
阅读次数：
491
