package cn.xiaojf.kafka.producer; import org.apache.kafka.clients.producer.Partitioner; import org.apache.kafka.common.Cluster; import org.apache.kafk... ...
分类：
其他好文 时间：
2017-03-23 01:12:44
阅读次数：
489
第一部分 分区简述(比如国家由省市来划分) 分区：map的输出经过partitioner分区进行下一步的reducer。一个分区对应一个reducer，就会使得reducer并行化处理任务。默认为1 1. Partitioner是partitioner的基类，如果需要定制partitioner也需要 ...
分类：
其他好文 时间：
2017-02-17 15:27:58
阅读次数：
698
rdd.join的实现：rdd1.join(rdd2) => rdd1.cogroup(rdd2,partitioner) 这是CoGroupedRDD的类声明，其中有两个与java 语法的不同： 1.类型声明中的小于号“<”,这个在scala 中叫做变量类型的上界，也就是原类型应该是右边类型的子类 ...
分类：
其他好文 时间：
2016-12-24 20:10:13
阅读次数：
227
一、背景 1.1 流程 实现排序，分组拍上一篇通过Partitioner实现了。 实现接口，自动产生接口方法，写属性，产生getter和setter，序列化和反序列化属性，写比较方法，重写toString，为了方便复制写够着方法，不过重写够着方法map里需要不停地new，发现LongWritable ...
分类：
移动开发 时间：
2016-12-14 14:23:48
阅读次数：
291
我们都知道Spark内部提供了HashPartitioner和RangePartitioner两种分区策略，这两种分区策略在很多情况下都适合我们的场景。但是有些情况下，Spark内部不能符合咱们的需求，这时候我们就可以自定义分区策略。为此，Spark提供了相应的接口，我们只需要扩展Partition ...
分类：
其他好文 时间：
2016-11-28 15:10:48
阅读次数：
272
在进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多个文件，意味着有同样数量的Reducer任务 ...
分类：
其他好文 时间：
2016-09-24 16:20:35
阅读次数：
137
Kafka自定义Producer以及Partitioner，并对Producer进行一定的封装。
分类：
其他好文 时间：
2016-08-30 09:35:26
阅读次数：
925
kafka版本0.8.2.1 Java客户端版本0.9.0.0 为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka保证在partition中的消息是有序的。Kafka Java客户端有默认的Partitioner。实现如下： ...
分类：
其他好文 时间：
2016-08-06 14:12:38
阅读次数：
524
前言：对于二次排序相信大家也是似懂非懂，我也是一样，对其中的很多方法都不理解诶，所有只有暂时放在一边，当你接触到其他的函数，你知道的越多时你对二次排序的理解也就更深入了，同时建议大家对wordcount的流程好好分析一下，要真正的知道每一步都是干什么的。 1.Partitioner分区类的作用是什么 ...
分类：
其他好文 时间：
2016-07-21 23:42:01
阅读次数：
233
Hadoop mapreduce对外提供了5个可编程组件，分别是InputFormat，Mapper，Partitioner，Reducer，OutputFormat
mapreduce能解决的问题有一个共同特点：任务可被分解成多个子问题，且这些子问题相对独立，彼此不会相互牵制。
分治的思想。
task分为maptask和reducetask。hdfs以固定大小的block为基本的存储单元，...
分类：
其他好文 时间：
2016-07-05 10:22:09
阅读次数：
189
