摘要:介绍Hadoop生态系统,从Hadoop生态系统有什么成员,成员能做什么和Hadoop生态系统能够提供大数据问题解决方案两方面来认识。关键词:Hadoop
HDFS MapReduce HBase Hive PigHadoop生态图,通俗地说,就是Hadoop核心模块和衍生的子项目。一幅Ha....
分类:
其他好文 时间:
2014-05-08 23:16:24
阅读次数:
387
http://blog.csdn.net/wangloveall/article/details/21407531摘要:MapReduce是Hadoop的又一核心模块,从MapReduce是什么,MapReduce能做什么以及MapReduce的工作机制三方面认识MapReduce。关键词:Hado...
分类:
其他好文 时间:
2014-05-08 23:03:55
阅读次数:
270
一:什么是RSSRSS(really simple syndication)
:网页内容聚合器。RSS的格式是XML。必须符合XML
1.0规范。RSS的作用:订阅BLOG,订阅新闻二:RSS的历史版本:http://blogs.law.harvard.edu/tech/rssVersionHist...
分类:
编程语言 时间:
2014-05-08 13:08:55
阅读次数:
671
??
设计模式学习告一段落,一时间有点儿心乱如麻啊真是——剪不断,理还乱!思考了一阵子,也不知道究竟该如何去总结它,
但人还是要活着的,路还是要走的,硬着头皮往前闯!
仔细想想,在学习23个设计模式中,我们始终都在围绕着一个主线在思考代码的布局,那就是六大原则——开放封闭,单一职责,依赖倒转,里氏代换,迪米特法则和合成聚合复用原则。当然,并不是说...
分类:
其他好文 时间:
2014-05-08 11:15:47
阅读次数:
301
一、Combiner作用1、combiner最基本是实现本地key的聚合,对map输出的key排序,value进行迭代。如下所示:map: (K1, V1) →
list(K2, V2)combine: (K2, list(V2)) → list(K2, V2)reduce: (K2, list(V...
分类:
其他好文 时间:
2014-05-08 09:37:49
阅读次数:
472
原文:http://blog.csdn.net/opennaive/article/details/7514146目录MapReduce是干啥的例子统计词频map函数和reduce函数MapReduce是如何工作的词频是怎么统计出来的用户的权利MapReduce的实现参考文献江湖传说永流传:谷歌技术...
分类:
其他好文 时间:
2014-05-08 06:36:39
阅读次数:
435
设计模式就如同搭积木,这几种关系就如同积木,设计模式的作用无非就是为了将这几种关系组合,最大化降低程序耦合度,使代码结构达到最优,便于应对以后的需求变更。...
分类:
其他好文 时间:
2014-05-07 21:50:58
阅读次数:
576
参考书籍: Hadoop in action, 吴超沉思录1.Hbase简介
1.面向列的分布式数据库 2. 以HDFS作为文件系统 3. 利用MapReduce处理Hbase中海量数据 4. ZookKeeper作为协调工具 5.
sqoop提供Hbase到关系型数据库中数据导入功能 ...
分类:
其他好文 时间:
2014-05-07 00:35:59
阅读次数:
424
我们把对象堆起来放成为一个集合,方法有很多,比如放进数组
堆栈
列表中。当客户想要遍历这些对象时,你打算让他看到你的实现么?当然不要!一点专业范儿都没了。
所以今天我们谈的就是如何让客户遍历对象而又无法窥视你存储对象的方式——迭代器模式
概述
提供一种方法顺序访问一个聚合对象中各个元素,而又不暴露该对象的内部表示。
适用情况:当不需要访问一个聚集对象,而且不管这些对象是什么都...
分类:
其他好文 时间:
2014-05-06 23:01:37
阅读次数:
362