HBase分布式集群环境搭建成功后，连续4、5天实验客户端Map/Reduce程序开发，这方面的代码网上多得是，写个测试代码非常容易，可是真正运行起来可说是历经挫折。下面就是我最终调通并让程序在集群上运行起来的一些经验教训。 一、首先说一下我的环境： 1，集群的环境配置请见这篇博文。 2，...
分类：
其他好文 时间：
2014-08-21 16:26:54
阅读次数：
366
上一节分析到了JobTracker把任务从队列里取出来并进行了初始化，所谓的初始化，主要是获取了Map、Reduce任务的数量，并统计了哪些DataNode所在的服务器可以处理哪些Split等等，将这些信息缓存起来，但还没有进行实质的分配。等待TaskTracker跟自己通信。TaskTracker...
分类：
其他好文 时间：
2014-08-18 00:03:43
阅读次数：
253
上一节分析了Job由JobClient提交到JobTracker的流程，利用RPC机制，JobTracker接收到Job ID和Job所在HDFS的目录，够早了JobInProgress对象，丢入队列，另一个线程从队列中取出JobInProgress对象，并丢入线程池中执行，执行JobInProgr...
分类：
其他好文 时间：
2014-08-17 03:45:51
阅读次数：
383
Python内置了一些非常有趣但非常有用的函数，充分体现了Python的语言魅力！filter(function, sequence)：对sequence中的item依次执行function(item)，将执行结果为True的item组成一个List/String/Tuple（取决于sequence...
分类：
编程语言 时间：
2014-08-14 23:46:16
阅读次数：
276
全篇结论【分在同一组的一定同属一个分区。在一个分区的可重载"job.setGroupingComparatorClass(a.class);"中的a类的compare方法重新定义分组规则,同一组的value做为reduce的输入。】一、为什么写分区和分组在排序中的作用是不一样的，今天早上看书，又有点...
分类：
其他好文 时间：
2014-08-14 19:35:59
阅读次数：
236
Mongo的介绍：这个mongoDB官网说的好啊，MongoDB是一个开源的基于document的数据库，并且是NoSQL数据库的领导者，而且它是用C++写滴哈，很有效率，一些什么特点呢？
全索引支持，可以索引任何属性
复制和高可用性，可以在局域网和广域网扩展
自动分享，能线性伸缩而不影响他的功能
查询，丰富的查询
快速更新
Map/Reduce
GridFS
MongoDB Ma...
分类：
数据库 时间：
2014-08-13 22:27:27
阅读次数：
325
hadoop的计算模型就是map/reduce，每一个计算任务会被分割成很多互不依赖的map/reduce计算单元，将所有的计算单元执行完毕后整个计算任务就完成了。因为计算单元之间互不依赖所以计算单元可以分配到不同的计算机上执行，这样就可以将计算压力平摊到多个机器上面。当然性能线性提高是有条件的，....
分类：
其他好文 时间：
2014-08-11 14:38:52
阅读次数：
189
Here I share with you a demo for python map, reduce and filter functional programming that
owned by me(Xiaoqiang).
I assume there are two DB tables, that `file_logs` and `expanded_attrs` which re...
分类：
编程语言 时间：
2014-08-09 04:57:17
阅读次数：
525
1 定义hadoop是一个分布式系统架构。2 基本模块HDFS为海量数据提供了存储。Map/Reduce为海量数据提供了计算。3 子项目Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的...
分类：
其他好文 时间：
2014-08-07 15:40:30
阅读次数：
239
Prepare Hadoop Streaming Hadoop streaming allows you to create and run Map/Reduce jobs with any executable or script as the mapper and/or the reducer....
分类：
其他好文 时间：
2014-08-05 13:47:29
阅读次数：
426
