对NC市的卡口数据进行分析，大概所有卡口每15秒接入的有效数据在3000条左右，现在产品经理要求对这些数据进行拥堵分析，通过两个卡口之间的车辆行驶时长来判断道路的拥堵情况。具体算法不展开。其中我需要做的是用Spark Streaming把Kafka的数据接进来，然后根据卡口数据中的车牌和经过时间找到 ...
分类：
其他好文 时间：
2018-03-21 21:14:16
阅读次数：
724
测试spark版本： 备注：spark1.5中没有提供rdd.combineByKeyWithClassTag算子，但提供的有rdd.combineByKey算子（spark2.1中依然保留）。 使用示例： ...
分类：
其他好文 时间：
2018-03-04 23:55:32
阅读次数：
736
一。概念 二。代码 三。解释 第一个函数作用于每一个组的第一个元素上，将其变为初始值 第二个函数：一开始a是初始值，b是分组内的元素值，比如A[1_],因为没有b值所以不能调用combine函数，第二组因为函数内元素值是[2_,3]调用combine函数后为2_@3，以此类推 第三个函数：reduc ...
分类：
其他好文 时间：
2018-01-07 11:53:04
阅读次数：
176
假设我们有一组个人信息，我们针对人的性别进行分组统计，并进行统计每个分组中的记录数。 输出步骤： 上边的信息中，个人信息中只有一个值，如果value是元组的话，需要定义出一个type： ...
分类：
其他好文 时间：
2017-11-08 22:24:11
阅读次数：
213
通过分析reduceByKey和groupByKey的源码，发现两个算子都使用了combineByKey这个算子，那么现在来分析一下combineByKey算子。 在combineByKey函数中包含 createCombiner、mergeValue、mergeCombiners函数 create ...
分类：
其他好文 时间：
2017-10-05 23:40:38
阅读次数：
455
transgormation的算子对key-value类型的数据有三种： （1）输入 与 输出为一对一关系 mapValue();针对key-value类型的数据并只对其中的value进行操作，不对key进行操作 （2）对单个rdd聚集 （2）对单个rdd聚集 combineByKey 相当于将(v ...
分类：
其他好文 时间：
2017-03-23 20:12:07
阅读次数：
146
1 前言 combineByKey是使用Spark无法避免的一个方法，总会在有意或无意，直接或间接的调用到它。从它的字面上就可以知道，它有聚合的作用，对于这点不想做过多的解释，原因很简单，因为reduceByKey、aggregateByKey、foldByKey等函数都是使用它来实现的。 comb ...
1、combineByKey combine 为结合意思。 作用： 将RDD[(K,V)] => RDD[(K,C)] 表示V的类型可以转成C两者可以不同类型。 def combineByKey[C](createCombiner:V =>C ,mergeValue:(C，V) =>C, merge ...
分类：
其他好文 时间：
2016-07-30 22:40:03
阅读次数：
273
combineByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C)] def combineByKey[C](crea ...
分类：
其他好文 时间：
2016-06-06 11:57:54
阅读次数：
279
这篇文章，很有必要看，写的不错。但是看过后，不要忘记查看Apache spark官网。因为这篇文章理解还是和源码、官网文档 不一致。有一点错误！【cnblogs的代码编辑器 不支持Scala，所以 语言的关键字 没有高亮显示】 在数据分析中，处理Key，Value的Pair数据是极为常见的场景，例如
分类：
Web程序 时间：
2016-02-27 21:53:10
阅读次数：
257
