字段解释： product_no：用户手机号； lac_id：用户所在基站； start_time：用户在此基站的开始时间； staytime：用户在此基站的逗留时间。product_no lac_id moment start_time user_id county_id staytime cit...
分类：
其他好文 时间：
2015-09-03 15:12:59
阅读次数：
197
请参照wordcount实现一个自己的MapReduce，需求为： a. 输入文件格式： xxx,xxx,xxx,xxx,xxx,xxx,xxx b. 输出文件格式： xxx,20 xxx,30 xxx.40 c. 功能：根据命令行参数统计输入文件中指定关键字出现的次数，并展示...
分类：
其他好文 时间：
2015-09-02 23:12:45
阅读次数：
266
1，比较器尽量不要让mr产生序列化和反序列化的转换，参考WritableComparable类 2，reducer严重的数据倾斜，可以考虑自定义分区器 ? ? ?但是之前可以尝试使用combiner来压缩数据看是否能解决问题 3，Map阶段不使...
分类：
其他好文 时间：
2015-09-01 01:54:53
阅读次数：
187
前言在之前两周主要学了HDFS中的一些模块知识,其中的许多都或多或少有我们借鉴学习的地方,现在将目光转向另外一个块,被誉为MRv2,就是yarn,在Yarn中,解决了MR中JobTracker单点的问题,将此拆分成了ResourceManager和NodeManager这样的结构,在每个节点上,还会有ApplicationMaster来管理应用程序的整个生命周期,的确在Yarn中,多了许多优秀的设...
分类：
移动开发 时间：
2015-08-31 23:40:56
阅读次数：
276
DescriptionBackground Mr Somurolov, fabulous chess-gamer indeed, asserts that no one else but him can move knights from one position to another so fas...
分类：
其他好文 时间：
2015-08-31 16:42:39
阅读次数：
206
SequeceFile是Hadoop API提供的一种二进制文件支持。这种二进制文件直接将对序列化到文件中。可以使用这种文件对小文件合并，即将文件名作为key，文件内容作为value序列化到大文件中。这种文件格式有以下好处：1). 支持压缩，且可定制为基于Record或Block压缩（Block级压...
分类：
其他好文 时间：
2015-08-29 20:03:22
阅读次数：
178
SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件(Flat File)。在SequenceFile文件中，每一个key-value对被看做是一条记录(Record)，基于Record的压缩策略，SequenceFile文件支持三种压缩类型：NON...
分类：
其他好文 时间：
2015-08-29 19:59:51
阅读次数：
218
输入格式类InputFormat用于描述MR作业的输入规范，主要功能：输入规范检查（比如输入文件目录的检查）、对数据文件进行输入切分和从输入分块中将数据记录逐一读取出来、并转化为Map输入的键值对。getSplits()方法返回List集合，作用是将输入文件在逻辑上划分为多个输入分片。createR...
分类：
其他好文 时间：
2015-08-27 15:03:23
阅读次数：
209
A B C D E F
B A C D E
C A B E
D A B E
E A B C D
F A
每一行第一个代表本人，后面的是他的朋友，找出有共同朋友的人以及是谁。
下面是我的源代码，仅供参考。
package findfriends;
import java.io.IOException;
import java.util.Set;
import java.util...
分类：
其他好文 时间：
2015-08-27 13:28:47
阅读次数：
188
实操 Web Cache http://netkiller.github.io/journal/cache.html Mr.?Neo Chen?(陈景峰),?netkiller, BG7NYT 中国广东省深圳市龙华新区民治街道溪山美地 518131 +86?13113668890 +86?755?29812080 <netkill...
分类：
Web程序 时间：
2015-08-27 11:28:00
阅读次数：
622
