Secondary NameNode的成员变量很少,主要的有: privateCheckpointStorage
checkpointImage;
Secondary NameNode使用的Storage
privateNamenodeProtocol
namenode;
和NameNode通信的接口
privateHttpServer
infoServer;
传输...
分类:
其他好文 时间:
2015-06-12 17:27:00
阅读次数:
130
docker中的容器互联-linking系统
docker有一个linking 系统可以连接多个容器。它会创建一对父子关系,父容器可以看到所选择的
子容器的信息。
1)容器的命名系统
linking系统依据容器的名称来执行。当我们创建容器的时候,系统会随机分配一个名字。当然我们
也可以自己来命名容器,这样做有2个好处:
? 当我们自己指定名称的时候,比较好记,比如一个web应用我们可以...
分类:
其他好文 时间:
2015-06-12 17:25:33
阅读次数:
307
一、什么时候可以避免执行MapReduce?select
*where语句中只有分区字段
二、Jion优化驱动表最右边查询表表的大小从左边到右边依次增大标志机制显示的告知查询优化器哪张表示大表/*+streamtable(table_name)*/
三、Map-side聚合sethive.map.aggr=true;这个设置可以将顶层的聚合操作放在Map阶段执行,从而减轻清洗...
分类:
其他好文 时间:
2015-06-12 17:24:34
阅读次数:
174
命令示例:
1. 事务被正常执行:
#在Shell命令行下执行Redis的客户端工具。
/> redis-cli
#在当前连接上启动一个新的事务。
redis 127.0.0.1:6379>multi
OK
#执行事务中的第一条命令,从该命令的返回结果可以看出,该命令并没有立即执行,而是存于事务的命令队列。
redis 127.0.0.1:6379>incr t1
QUEUED
...
分类:
其他好文 时间:
2015-06-12 17:23:47
阅读次数:
138
函数在Scala语言里面也是一个对象,也许这对于Java程序员来说这比较令人惊讶。于是吧函数作为参数进行传递、把它们存贮在变量中、或者当作另一个函数的返回值都是可能的。吧函数当成值进行操作是函数型编程语言的基石。
为了解释为什么吧函数当作值进行操作是十分有用的,我们来考虑一个计时器函数。这个函数的目的是每隔一段时间就执行某些操作。那么如何吧我们要做的 操作传入计时器呢?于是我们想吧他当作一个函数...
分类:
其他好文 时间:
2015-06-12 17:23:17
阅读次数:
189
Spout的实现步骤:
· 对文件的改变进行分开的监听,并监视目录下有无新日志文件添加。
· 在数据得到了字段的说明后,将其转换成tuple。
· 声明Spout和Bolt之间的分组,并决定tuple发送给Bolt的途径。
Spout的具体编码在Listing Three中显示。
Listing Three:Spout中open、nextTupl...
分类:
其他好文 时间:
2015-06-12 17:22:50
阅读次数:
181
测试oracle数据库的连接使用①连接oracle数据库,列出所有的数据库
[hadoop@eb179 sqoop]$sqoop list-databases--connect jdbc 10.1.69.173:1521:ORCLBI --username huangq -P
或者sqoop list-databases--connect jdbc racle:thin10.1.69.17...
分类:
数据库 时间:
2015-06-12 17:20:48
阅读次数:
125
HBaseConvetorUtil 实体转换工具类
public class HBaseConvetorUtil {
/**
* @Title: convetor
* @Description: 传入hbase返回结果值,返回实例集合
* @param
* @return
* @throws
*/
public stati...
分类:
其他好文 时间:
2015-06-12 17:19:20
阅读次数:
246
Hadoop之Hbase从入门到精通http://yunpan.cn/cwhbfIv2pptiR (提取码:b786)超人学院Hadoop大数据技术资源分享
更多精彩内容请关注超人学院微信
更多精彩内容请关注:http://bbs.superwu.cn...
分类:
其他好文 时间:
2015-06-12 17:18:45
阅读次数:
117
使用java操作solr
前面讲了很多对solr的操作都是直接在页面上操作的,实际工作中肯定是要使用java进行操作的,在这我们就看一下如何使用java来操作solr
Solr提供了solrj来使用java操作solr,SolrJ是封装了httpClient方法,来操作solr的API的。首先添加maven依赖
org.apache.solr
solr-...
分类:
编程语言 时间:
2015-06-12 17:17:58
阅读次数:
146