码迷,mamicode.com
首页 > 其他好文 > 详细

spark持久化

时间:2018-08-31 22:21:56      阅读:151      评论:0      收藏:0      [点我收藏+]

标签:local   wan   app   oca   highlight   string   void   ext   master   

 

package com.wll;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
public class Persist {
    static SparkConf conf=new SparkConf().setMaster("local").setAppName("persist");
    static JavaSparkContext sc=new JavaSparkContext(conf);
    public static void main(String[] args){
        noCache();
        //cache();
    }
    public static void noCache(){

        JavaRDD<String> list=sc.textFile("C:\\Users\\wanglonglong\\Desktop\\hive-default.xml");
        long beginTime=System.currentTimeMillis();
        long count=list.count();
        System.out.println("无持久化第一次"+(System.currentTimeMillis()-beginTime));

        beginTime=System.currentTimeMillis();
        count=list.count();
        System.out.println("无持久化第二次"+(System.currentTimeMillis()-beginTime));
    }
    public static void cache(){
        JavaRDD<String> list=sc.textFile("C:\\Users\\wanglonglong\\Desktop\\hive-default.xml").cache();
        long beginTime=System.currentTimeMillis();
        long count=list.count();
        System.out.println("持久化第一次"+(System.currentTimeMillis()-beginTime));

        beginTime=System.currentTimeMillis();
        count=list.count();
        System.out.println("持久化第二次"+(System.currentTimeMillis()-beginTime));
    }
}

spark持久化

标签:local   wan   app   oca   highlight   string   void   ext   master   

原文地址:https://www.cnblogs.com/wakerwang/p/9568440.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!