spark元组的列表转化为字典

标签：

好吧，元组不能转为字典。或者说直接不能转，间接可以。当然元组有格式要求的。

[(key1,value1),(key2,value2),...]

之所以把这个问题抛出来是因为，spark的zipWithIndex本来应返回字典，但却返回了上面这种格式。

当然在spark的环境下它还是可以被当做字典支持的。你可以用lookup函数。

然而，lookup函数式不能传到rdd的一些操作的lambda表达式的，例如：

#一个错误的例子
sholdbedict = sc.parallelize([4,5,6]).zipWithIndex()
sholdbedict.collect()#输出[(4, 0), (5, 1), (6, 2)]
sholdbedict.lookup(6)#也没错
just4test = sc.parallelize([6,4,6])
just4test.map(lambda _: sholdbedict.lookup(_))#返回每个元素的编号，报错了
#结束一个错误的例子

因为lookup不能传到RDD.map函数里。其它的也不行。

spark元组的列表转化为字典

标签：

原文地址：http://www.cnblogs.com/wasss/p/5367206.html