共同点：1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储区别：2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。3.想象你在操作RMDB数据库，如果是全表扫描...
分类：
其他好文 时间：
2014-07-16 21:30:18
阅读次数：
167
记得还没毕业的时候，那时候我还不知道网优是什么，我的目标是做一名改变世界的程序猿，虽然我现在的目标也没有变，但是人毕竟不能两次踏入同一条河流，所以，过去终究只能是过去。 偶然看到了mapreduce,度娘告诉我这是一个用来处理大数据的框架，回想起当时笔试去哪儿网的时候的一篇2M的小说中找出张无忌出....
分类：
其他好文 时间：
2014-07-16 21:00:34
阅读次数：
279
1 概述该瞅瞅MapReduce的内部运行原理了，以前只知道个皮毛，再不搞搞，不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点，一步步来看里面到底是个什么情况。2 为什么要使用MapReduceMap/Reduce，是一种模式，适合解决并行计算的问题，比如T...
分类：
其他好文 时间：
2014-07-16 20:34:13
阅读次数：
264
在sql语句中经常用到group by，但是对其并不是太了解，所以记录下来：select A,cout(*) 数量 from table_name group by A;group by 的使用有一条原则，那就是select 后面的所有列中没有使用聚合函数到必须出现在group by 后面。那么gr...
分类：
其他好文 时间：
2014-07-16 20:26:17
阅读次数：
162
4.4 Reduce类4.4.1 Reduce介绍整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupT...
分类：
其他好文 时间：
2014-07-16 20:25:29
阅读次数：
224
4.3 Map类 创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，...
分类：
其他好文 时间：
2014-07-16 20:22:00
阅读次数：
216
定义：数据类型是数据对象和施加在数据对象上操作的聚合体。定义：抽象数据类卫(ADT)中的数据对象和数据操作的规范声明与数据对象的表示和数据操作的实现相互分离。规范声明包括所有函数的名称,它们的参量类型,以及返冂结果的类型,还应包括函数的功能描述,但不涉及内部表示和实现细节。这样的需求界定及为重要,也...
分类：
其他好文 时间：
2014-07-13 08:18:21
阅读次数：
149
4.4 Reduce类
4.4.1 Reduce介绍
整完了Map，接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似，包括initialize()初始化，根据情况看是否调用runJobCleanupTask()，runTaskCleanupTask()等。之后进入正式的工作，主要有这...
分类：
其他好文 时间：
2014-07-12 22:50:33
阅读次数：
185
4.3 Map类
创建Map类和map函数，map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的，当处理每一个键值对的时候，都要调用一次map方法，用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次，cleanup方法是整个map任务结束的时候运行一次。
4.3.1 Map介绍
...
分类：
其他好文 时间：
2014-07-12 17:23:40
阅读次数：
262
志愿计算，是一种利用计算机闲置资源參与公益类分布式计算的方法。志愿计算的框架：1 Folding@homeFolding@home是一个研究蛋白质折叠，误折，聚合及由此引起的相关疾病的分布式计算project。蛋白质是一个生物体系的网络基础，它们是一个个纳米级计算机。在蛋白质实现它的生物功能之前，它...
分类：
其他好文 时间：
2014-07-12 14:57:27
阅读次数：
315
