描述When you browse the Internet, browser usually caches some documents to reduce the time cost of fetching them from remote servers. Let's consider a s...
分类：
其他好文 时间：
2015-09-18 23:06:07
阅读次数：
246
hbase当中没有两表联查的操作，要实现两表联查或者在查询一个表的同时也需要访问另外一张表的时候，可以通过mapreduce的方式来实现，实现方式如下：由于查询是map过程，因此这个过程不需要设计reduce过程。（1）map的实现package com.datacenter.HbaseMapRed...
分类：
其他好文 时间：
2015-09-18 20:26:57
阅读次数：
154
上面一篇文章仅仅是介绍如何通过mapReduce来对HBase进行读的过程，下面将要介绍的是利用mapreduce进行读写的过程，前面我们已经知道map实际上是读过程，reduce是写的过程，然而map也可以实现写入的过程，因此可以通过map实现读写的过程。具体实现如下所示：（1）map的实现pac...
分类：
其他好文 时间：
2015-09-18 20:24:21
阅读次数：
152
上一篇文章是实现统计hbase单元值出现的个数，并将结果存放到hbase的表中，本文是将结果存放到hdfs上。其中的map实现与前文一直，连接：http://www.cnblogs.com/ljy2013/p/4820056.html，下面主要介绍一下reduce的实现：（1）reduce的实现pa...
分类：
其他好文 时间：
2015-09-18 20:11:20
阅读次数：
173
一.定义MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，和它们的主要思想， 都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性。它极大地方便了编程人员在不会分布式并行编程的情况下，将自己的程序运行在分布式系统上。...
分类：
其他好文 时间：
2015-09-18 15:10:28
阅读次数：
153
Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop?map/reduce非...
分类：
其他好文 时间：
2015-09-18 12:13:31
阅读次数：
128
图中1：表示待处理数据，比如日志，比如单词计数 图中2：表示map阶段，对他们split，然后送到不同分区 图中3：表示reduce阶段，对这些数据整合处理。 图中4：表示二次mapreduce,这个是mapreduce的链式。...
分类：
其他好文 时间：
2015-09-16 16:12:49
阅读次数：
160
前边，讲述了Hadoop的两大支柱HDFS和MapReduce，我们通过将大数据的数据文件放在HDFS上，利用Java编写Map-Reduce,来实现数据的各种分析，并预测一些东西，实现大数据的商业价值，从而也体现了Hadoop价值所在。 但是反观传统系统中，我们都是通过数据库进行数据分析的，例如关系型数据库：Oracle,SQL Server,mysql等，更进一步的通过NO SQL数据...
分类：
其他好文 时间：
2015-09-16 00:55:51
阅读次数：
276
今天阅读了关于Python函数式编程的系列文章，地址在这里：http://www.cnblogs.com/huxi/archive/2011/06/24/2089358.html里面提到了四个内建迭代函数：reduce、map、filter、zip。其中zip是供同时迭代多个迭代器用的，这里就不讨论...
分类：
编程语言 时间：
2015-09-15 12:31:28
阅读次数：
215
Spark中的shuffle大概是这么个过程：map端把map输出写成本地文件，reduce端去读取这些文件，然后执行reduce操作。那么，问题来了：reducer是怎么知道它的输入在哪呢？首先，mapper在写完文件之后，肯定能提供与它的输出相关的信息。这个信息，在Spark中由MapStatu...
分类：
其他好文 时间：
2015-09-13 09:20:17
阅读次数：
193
