码迷,mamicode.com
首页 > 其他好文 > 详细

hive,把一个表中计算好的数据,存到另一个外部表中

时间:2018-12-26 17:54:40      阅读:200      评论:0      收藏:0      [点我收藏+]

标签:csr   case   port   sre   ram   spark   部分   red   obj   

直接上代码:

第一部分:

case class OrdPacsresult_obj(pk_dcpv: String, result_obj: String)

第二部分:

def ordsubj: Unit = {
    import sparkSession.implicits._
    import sparkSession.sql
    val dataset: Dataset[OrdPacsresult_subj] = sql("select pk_dcpv,result_obj,result_subj from diagbot.ord_rec_pacs_filter where result_subj is not null").as[OrdPacsresult_subj]

    val mapRDD: Dataset[(String, String)] = dataset.map(x => {
      val pk_dcpv: String = x.pk_dcpv
      val result_subj = x.result_subj
      (pk_dcpv, result_subj)
    })
    val rdd: RDD[(String, String)] = mapRDD.rdd.repartition(100)
    val key: RDD[(String, String)] = rdd.reduceByKey((x, y) => {
      val buffer: StringBuffer = new StringBuffer()
      buffer.append(x).append("\n")
      if (!buffer.toString.contains(y)) {
        buffer.append(y).append("\n")
      }
      buffer.toString
    })
    val f: DataFrame = key.map(x => {
      OrdPacsresult_subj(x._1, x._2)
    }).toDF()
    f.repartition(1).write.parquet("hdfs://192.168.2.232:9000/datas/parquetFile/OrdPacsresult_subj")
  }

 

hive,把一个表中计算好的数据,存到另一个外部表中

标签:csr   case   port   sre   ram   spark   部分   red   obj   

原文地址:https://www.cnblogs.com/kwzblog/p/10180234.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!