项目简介 这里给出一个经典的词频统计的案例：统计如下样本数据中每个单词出现的次数。 SparkHBase HiveFlinkStormHadoopHBaseSpark Flink HBaseStorm HBaseHadoopHiveFlink HBaseFlinkHiveStorm HiveFlin ...
分类：
其他好文 时间：
2019-09-14 23:07:58
阅读次数：
208
Mapper： import java.io.IOException; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWritable; import org.apache.hadoop.io.Te ...
分类：
其他好文 时间：
2019-09-14 22:57:25
阅读次数：
158
在spark中，框架默认使用的事hashPartitioner分区器进行对rdd分区，但是实际生产中，往往使用spark自带的分区器会产生数据倾斜等原因，这个时候就需要我们自定义分区，按照我们指定的字段进行分区。具体的流程步骤如下： 1、创建一个自定义的分区类，并继承Partitioner，注意这个 ...
分类：
其他好文 时间：
2019-06-23 17:30:57
阅读次数：
138
Partitioner: Partitioning and Combining take place between Map and Reduce phases. It is to club the data which should go to the same reducer based on ...
分类：
其他好文 时间：
2019-06-09 12:47:01
阅读次数：
97
1. 查看所有topic 2. 创建tooic及topic的partitioner 说明:在集群模式中，partitioner可以根据集群节点的磁盘空间大小和kafka server这个配置`log dir=/data/kafka log,/data01/kafka log,/data02/kafk ...
分类：
其他好文 时间：
2019-04-21 20:25:27
阅读次数：
294
MapReduce框架中Combiner、Sort、Partitioner的应用 ...
分类：
其他好文 时间：
2019-03-07 20:47:24
阅读次数：
148
Partitioner: Partitioner的作用是决定Map Task产生的数据记录交给哪个Reduce Task处理。默认实现是：（key）mod R，其中R是Reduce Task个数。一般情况下，当需要按照key的一部分（不是全部，比如key的前三个字节）进行partition，或者按照 ...
分类：
其他好文 时间：
2019-03-01 13:04:35
阅读次数：
161
Partitioner的作用的对Mapper产生的中间结果进行分片，以便将同一分组的数据交给同一个Reduce处理，Partitioner直接影响Reduce阶段的负载均衡。 MapReduce提供了两个Partitioner实现：HashPartitioner和TotalOederPartitio ...
分类：
其他好文 时间：
2019-02-19 00:38:03
阅读次数：
211
背景 [作者：DeepLearningStack，阿里巴巴算法工程师] 在经过TensorFlow的Placer策略模块调整之后，下一步就是根据Placement信息对Graph做切割，然后分发到不同的Device上去执行的过程了。在对Graph做切割时，为了保证跨Device执行的逻辑与切割前一致 ...
分类：
其他好文 时间：
2018-12-17 02:08:19
阅读次数：
169
RDD：弹性分布式数据集， 是分布式内存的一个抽象概念 RDD：1.一个分区的集合， 2.是计算每个分区的函数 ， 3.RDD之间有依赖关系 4.一个对于key-value的RDD的Partitioner 5.一个存储存取每个Partition的优先位置的列表 RDD算子： Transformati ...
分类：
其他好文 时间：
2018-11-30 00:39:53
阅读次数：
231
