搜索关键字：map引用外部变量，搜索到1个结果！码迷,mamicode.com！

Spark Task未序列化(Task not serializable)问题分析

在编写Spark程序中，在map等算子内部由于使用了外部定义的变量和函数，从而导致出现Task未序列化问题，而由于Spark算子内部往往需要根据外部指定的配置进行计算，因此使用外部变量有时在所难免。为了解决Task序列化问题，这里对其进行了研究和总结。出现“org.apache.spark.SparkException: Task not serializable”这个错误，一般...

分类：其他好文时间：2015-05-23 16:55:37 阅读次数：181

共1条

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)