sparksql系列(一)环境搭建

标签：uil   自己   初始化   %s   ESS   long   lfw   park   装包   

一：JDK环境搭建

二：SCALA环境搭建

三：hadoop环境搭建

　　　　下载后，解压即可。配置两个环境变量即可。

　　　　HADOOP_HOME(D:\JAVA\hadoop)      PATH($HADOOP_HOME/bin;)

　　　　其中需要将bin下面的东西替换成window版本，因为是window版本。上面链接中的已经替换过。        

四：运行的jar包

　　　　spark 解压的路径中jars目录中的东西，添加进IDE的classpath就行了

五：IDE解压开就行

　　　　打开后新建一个scala项目。和JAVA的IDE操作一模一样，在此不详细描述。

六：sparksql 你好，世界

　　　spark 解压的路径中jars目录中的东西，添加进IDE的classpath

            import java.util.Arrays
            import org.apache.spark.SparkConf
            import org.apache.spark.api.java.JavaSparkContext
            import org.apache.spark.sql.{DataFrame, Row, SparkSession, functions}
            import org.apache.spark.sql.functions.{col, countDistinct, desc, length, row_number, sum, trim, when,count}
            import org.apache.spark.sql.types.{LongType, StringType, StructField, StructType}
            import org.apache.spark.sql.expressions.Window
            import org.apache.spark.storage.StorageLevel
            import org.apache.spark.sql.SaveMode

            object WordCount {
                        def main(args: Array[String]): Unit = {
                                    val sparkSession= SparkSession.builder().master("local").appName("AppName").getOrCreate()
                                    val javasc = new JavaSparkContext(sparkSession.sparkContext)

                                    val nameRDD = javasc.parallelize(Arrays.asList("{‘name‘:‘wangwu‘,‘age‘:‘18‘,‘vip‘:‘t‘}",
                                                "{‘name‘:‘sunliu‘,‘age‘:‘19‘,‘vip‘:‘t‘}","{‘name‘:‘zhangsan‘,‘age‘:‘18‘,‘vip‘:‘f‘}"));
                                    val namedf = sparkSession.read.json(nameRDD)

                                    namedf.select(col("name")).show(100)

                        }
            }

hello，world详解

        sparkSession的作用就相当于sparkcontext，是操作数据的关键

　　SparkSession.builder()        java工厂模式哈

　　master("local")                      限制模式是本地模式

　　appName("AppName")       填写自己app的名称，免得任务多的时候找不到自己的任务

　　getOrCreate()                       固定方法，我也不知道为什么。尴尬，尴尬，尴尬

上线sparksession的初始化

           怎么？sparksession的初始化还分本地模式和线上模式吗？

　　   不，只是上一段代码中有一个master参数是local，这个参数的意思是本地模式。真正上线时不能用这个，需要去掉。

　　　val sparkSession= SparkSession.builder().appName("AppName").getOrCreate()

JavaSparkContext、nameRDD、namedf、select

　　javaSparkContext                其实没有什么卵用就是将json转换成rdd

　　namedf                                  rdd转换成的Dataframe，其实和spark-core中的rdd是一个概念。将json串转换为一个sparksql表了。

　　select                                     Dataframe所有的操作和SQL是一样的，select就是简单的查询

sparksql系列(一)环境搭建

标签：uil   自己   初始化   %s   ESS   long   lfw   park   装包   

原文地址：https://www.cnblogs.com/wuxiaolong4/p/11668053.html