如果单从概念上来说，Mapreduce和R中的函数lapply, tapply并无差别，它们都是把元素转化成列，然后计算索引（Mapreduce中的键），最后合并成一个定义好的组合。首先，让我们看一个简单的lappy的例子。small.ints = 1:1000sapply(small.ints, ...
分类：
其他好文 时间：
2014-07-10 11:00:32
阅读次数：
174
近日被mongoDB的聚合难住了，条件：1、表中有字段mac,pv,ip,dates,type2、要求，根据ip来group，计算pv合计，不重复的mac数，不重复的ip数3、下面是解决办法，说明：MongoDB权威指南中使用的是对象，即"macs":{}，然后在reduce里面用 in来查找，pr...
分类：
数据库 时间：
2014-07-10 00:16:14
阅读次数：
252
原文:jquery版相片墙（鼠标控制图片聚合和散开） 照片墙，简单点说就是鼠标点击小图片时，聚合变成一张大图片；点击大图片时，散开变成小图片。这个是我一年前无意间看到的动画效果（现在已经忘记是哪位大神制作的了，引用了他的图片），刚看到这个很炫的动画超级激动，哇！怎么可以这么牛！我制作出来的没那边炫，...
分类：
Web程序 时间：
2014-06-28 10:10:31
阅读次数：
361
迭代器模式(iterator pattern) 详解本文地址: http://blog.csdn.net/caroline_wendy迭代器模式(iterator pattern) : 提供一种方法顺序访问一个聚合对象中的各个元素, 而又不暴露其内部的表示;建立迭代器接口(iterator interface), 包含hasNext()方法和next()方法;不同聚合对象的具体的迭代器(concr...
分类：
其他好文 时间：
2014-06-28 07:43:35
阅读次数：
306
NoSQL聚合数据模型特点聚合数据模型的特点就是把经常访问的数据放在一起（聚合在一块）； 这样带来的好处很明显，对于某个查询请求，能够在与数据库一次交互中将所有数据都取出来； 当然，以这种方式存储不可避免的会有重复，重复是为了更少的交互；缺点聚合结构对某些交互有利，却阻碍另一些交互； ...
分类：
数据库 时间：
2014-06-27 22:23:13
阅读次数：
330
hive是一个SQL解析引擎，可以在hive中创建表，执行sql语句。创建的表是存储在hdfs中，执行的sql语句是通过MapReduce执行的。可以通过执行sql语句来代替编写MapReduce作业，太方便了！1.解压缩、设置环境hive使用的版本是hive-0.9.0.tar.gz。我们在/.....
分类：
其他好文 时间：
2014-06-27 19:59:49
阅读次数：
179
package com.leaf.hadoop.second;
import java.util.Random;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hado...
分类：
其他好文 时间：
2014-06-27 10:00:17
阅读次数：
294
过去十年，数据处理领域发生了很大的变化，可以认为是发生了一次革命。MapReduce、Hadoop以及其他相关技术使得在存储和处理我们以前无法想象的大规模数据方面成为可能。然后不幸的是，这些数据处理技术并不是实时系统，而且他们命中注定也不是。无法将Hadoop转换成实时系统，因为实时数据处理和批处理在要求上有本质的不同。
然后，大规模地实时数据处理需求在商业应用上已经越来越迫切。数据处理生态中缺少”实时Hadoop“（即类似于Hadoop在批处理领域的通用解决方案）已经成为一个最大的遗憾。Storm弥补了...
分类：
其他好文 时间：
2014-06-27 09:04:04
阅读次数：
184
3.聚合（Aggregation）
定义：聚合关系是关联关系的一种，耦合度强于关联，他们的代码表现是相同的，仅仅是在语义上有所区别：关联关系的对象间是相互独立的，而聚合关系的对象之间存在着包容关系，他们之间是“整体-个体”的相互关系。
符号：带空心菱形实线箭头表示
1、聚合关系是关联关系的一种，是强的关联关系。
2、聚合是整体和部分之间的关...
分类：
其他好文 时间：
2014-06-27 07:52:57
阅读次数：
181
# 学习前言
想学习一下Flume，网上找了好多文章基本上都说的很简单，只有一半什么的，简直就是坑爹，饿顿时怒火就上来了，学个东西真不容易，然后自己耐心的把这些零零碎碎的东西整理整理，各种搭环境实验之后才弄好的，也不容易啊，希望可以帮到想学Flume的你 、、、
# Flume介绍
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制...
分类：
其他好文 时间：
2014-06-26 08:01:52
阅读次数：
449
