在我们使用网页搜索时，会注意到每一个结果都包含一个“相似页面”链接，单击该链接，就会发布另一个搜索请求，查找出与起初结果类似的文档。Solr使用MoreLikeThisComponent（MLT）和MoreLikeThisHandler实现了一样的功能。如上所述，MLT是与标准SolrRequestHandler集成在一起..
分类：
其他好文 时间：
2015-05-27 19:20:19
阅读次数：
241
用户自定义函数（UDF）publicabstractclassEvalFunc<T>{publicabstractTexec(Tupleinput)throwsIOException;publicList<FuncSpec>getAvgToFuncMapping()throwsFrontendException;publicFuncSpecoutputSchema()throwsFrontendException;}输入元组的字段包含传递给函..
分类：
其他好文 时间：
2015-05-27 19:18:13
阅读次数：
182
hbase提供了一个shell的终端给用户交互。使用命令hbaseshell进入命令界面。通过执行help可以看到命令的帮助信息。以网上的一个学生成绩表的例子来演示hbase的用法。namegradcoursemathartTom59787Jim48980这里grad对于表来说是一个只有它自己的列族,course对于表来说是一个有两..
分类：
系统相关 时间：
2015-05-27 19:18:12
阅读次数：
292
Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPU密集型（CPU
intensive）的计算任务。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。
DRPC其实不能算是storm本身的一个特性， 它是通过组合storm的原语stream、spout、bolt、 topology而成的一种模式(pat...
分类：
其他好文 时间：
2015-05-27 19:13:47
阅读次数：
152
Docker底层存储结构 由于aufs并未并入内核，故而目前只有Ubuntu系统上能够使用aufs作为docker的存储引擎，而其他系统上使用lvm thin provisioning（overlayfs是一个和aufs类似的union filesystem，未来有可能进入内核，但目前还没有；Lvm
snapshot are useful for doing e.g. backup of a ...
分类：
其他好文 时间：
2015-05-27 19:13:22
阅读次数：
397
Mapper的输出，在发送到Reducer前是存放在本地文件系统的，IFile提供了对Mapper输出的管理。我们已经知道，Mapper的输出是对，IFile以记录的形式存放了这些数据。为了保存键值对的边界，很自然IFile需要保存key-len和value-len。
和IFile相关的类图如下：
其中，文件流形式的输入和输出是由IFIleInputStream和IFIleOut...
分类：
其他好文 时间：
2015-05-27 19:13:11
阅读次数：
188
我们在这文章将要学习Scala的最后一个特性是泛型。Java程序员们可能最近才知道这个东西，因为这个特性是在Java1.5中才被加入的。
泛型是一种可以让你使用类型参数的设施。例如当一个程序员正在实现一个链表时，将不得不面对诸如如何决定链表中节点保存数据的类型之类的问题。正由 于这是一个链表，所以往往会在不同的环境中使用，因此，我们不能草率的决定节点数据类型，比如说Int。这种决定是相当的草率且...
分类：
其他好文 时间：
2015-05-27 19:12:03
阅读次数：
261
集合统计函数1. 个数统计函数:
count
语法: count(*), count(expr), count(DISTINCT expr[, expr_.])
返回值: int
说明: count(*)统计检索出的行的个数，包括NULL值的行；count(expr)返回指定字段的非空值的个数；count(DISTINCTexpr[, expr_.])返回指定字段的不同的非空...
分类：
其他好文 时间：
2015-05-27 19:11:46
阅读次数：
527
1.1 Sqoop内部结构
本节介绍Sqoop的内部结构。
Sqoop程序是由的主类com.cloudera.sqoop.Sqoop驱动。有限数量的额外的类在同一个包：SqoopOptions （如前所述），ConnFactory（即熟练操作ManagerFactory实例）。
1.1.1 一般程序流程
一般的程序流程如下：
com.cloudera.sqoop.Sqoop是主类...
分类：
其他好文 时间：
2015-05-27 19:11:28
阅读次数：
169
一、Redis提供了哪些持久化机制：
1). RDB持久化：
该机制是指在指定的时间间隔内将内存中的数据集快照写入磁盘。
2). AOF持久化:
该机制将以日志的形式记录服务器所处理的每一个写操作，在Redis服务器启动之初会读取该文件来重新构建数据库，以保证启动后数据库中的数据是完整的。
3). 无持久化：
我们可以通过配置的方式禁用Redis服务器的持久化功能，这样我们就可以将Re...
分类：
其他好文 时间：
2015-05-27 19:10:32
阅读次数：
152
