码迷,mamicode.com
首页 > 其他好文 > 详细

初学Spark

时间:2019-03-25 16:11:52      阅读:167      评论:0      收藏:0      [点我收藏+]

标签:color   内容   依赖   oid   style   dep   ext   override   end   

1.首先引入依赖

<dependency>
     <groupId>org.apache.spark</groupId>
     <artifactId>spark-core_2.11</artifactId>
     <version>2.0.0</version>
</dependency>

2.在项目根路径创建aa.txt文件,内容随意

3.编写hello wordCount示例

 public static void main( String[] args ){
        //配置信息
SparkConf conf = new SparkConf()
       .setAppName("JavaWordCount")
        //设置本地运行
       .setMaster("local"); JavaSparkContext sc = new JavaSparkContext(conf);
      //获取元素列表 JavaRDD
<String> lineRDD = sc.textFile("./aa.txt");
      //遍历 lineRDD.foreach(
new VoidFunction<String>() { private static final long serialVersionUID = 1L; @Override public void call(String s) throws Exception { System.out.println( "Hello World!"+s ); } }); }

 

初学Spark

标签:color   内容   依赖   oid   style   dep   ext   override   end   

原文地址:https://www.cnblogs.com/wannt/p/10594263.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!