码迷,mamicode.com
首页 > 其他好文 > 详细

spark之从外部文件获取广播变量

时间:2020-05-12 11:45:24      阅读:82      评论:0      收藏:0      [点我收藏+]

标签:exception   red   cat   put   val   ret   length   except   str   

public static Map<String,String> loadDataFromFile() {
        Map<String,String> map = new ConcurrentHashMap<>();
        try {
            File file = new File("filename.txt");
            if (file.isFile() && file.exists()) {
                InputStreamReader read = new InputStreamReader(new FileInputStream(file), "UTF-8");
                BufferedReader bufferedReader = new BufferedReader(read);
                String line = null;
                while ((line = bufferedReader.readLine()) != null) {
                    String[] split = line.split(",");
                    if (split.length==2) {
                        map.put(split[0],split[1]);
                    }
                }
                bufferedReader.close();
                read.close();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
        return map;
    }
//获取文件内容并广播
Map<String,String> pidMap = loadDataFromFile();
        Broadcast<Map<String,String>> broadcast = sc.broadcast(pidMap);

//在worker中使用
broadcast.getValue();

 

spark之从外部文件获取广播变量

标签:exception   red   cat   put   val   ret   length   except   str   

原文地址:https://www.cnblogs.com/wangbin2188/p/12874806.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!