码迷,mamicode.com
首页 > 编程语言 > 详细

spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem

时间:2019-10-18 18:57:19      阅读:132      评论:0      收藏:0      [点我收藏+]

标签:hdf   info   cep   use   not   col   ror   不能   alt   

序列化问题多事rdd遍历过程中使用了没有序列化的对象。

1.将未序列化的变量定义到rdd遍历内部。如定义入数据库连接池。

技术图片

 

 

 2.常量定义里包含了未序列化对象 ,提出去吧

如下常量要放到main里,不能放到rdd的遍历中。

 val HBASE_TABLE = sparkModel.getUserParamsVal("hbbase_table", "default_table_name")

 

spark error Caused by: java.io.NotSerializableException: org.apache.hadoop.hdfs.DistributedFileSystem

标签:hdf   info   cep   use   not   col   ror   不能   alt   

原文地址:https://www.cnblogs.com/shaozhiqi/p/11699908.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!