码迷,mamicode.com
首页 > 编程语言 > 详细

spark模型error java.lang.IllegalArgumentException: Row length is 0

时间:2019-09-30 18:21:35      阅读:101      评论:0      收藏:0      [点我收藏+]

标签:argument   数据   bytes   byte   val   filter   col   div   hbase   

failure: Lost task 18.3 in stage 17.0 (TID 59784,XXXXX, executor 19): java.lang.IllegalArgumentException: Row length is 0

场景是写入hbase:

val put = new Put(Bytes.toBytes(line._1))

当取出的line._1做为row,值是“”或者null时就会出现此异常。所以做如下处理,先过滤掉为null和“”的数据

    val bhaseRdd = resultRdd.filter(r => {
      r._1 != "" && r._1!=null&&r._1.length>0
    }).map(line => {
      val put = new Put(Bytes.toBytes(line._1)) //rowKey 为参数,拿到put
      val key = line._2.keySet().iterator(); //拿到对应的dataMap
........

 

spark模型error java.lang.IllegalArgumentException: Row length is 0

标签:argument   数据   bytes   byte   val   filter   col   div   hbase   

原文地址:https://www.cnblogs.com/shaozhiqi/p/11613605.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!