码迷,mamicode.com
首页 > 数据库 > 详细

if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o...

时间:2018-09-04 14:48:37      阅读:754      评论:0      收藏:0      [点我收藏+]

标签:col   ==   class   原因   field   dna   filter   inpu   lte   

运行spark程序一直报错:

1 if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o

原因: 文件里有一行数据为垃圾数据, 这行数据的列数和列名的个数不一致.

解决办法: 过滤掉这样的数据

1 .filter(_.length == infoSchema.fieldNames.length)

 

if (assertnotnull(input[0, org.apache.spark.sql.Row, true]).isNullAt) null else staticinvoke(class o...

标签:col   ==   class   原因   field   dna   filter   inpu   lte   

原文地址:https://www.cnblogs.com/water-green/p/9584135.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!