一：首先将我们从文本中读取的数据映射到表也就是视图 eg: $>cat b.txt 1 ded 2 dsfre 3 sfs 4 fr $>val sc = spark.sparkContext #创建SparkContext $>val rdd = sc.textFile("file:///home ...
分类：
数据库 时间：
2019-01-01 14:07:47
阅读次数：
638
1. Spark SQL定位处理结构化数据的模块。SparkSQL提供相应的优化机制，并支持不同语言的开发API。 java、scala、Python，类SQL的方法调用（DSL） 2. RDD与Spark SQL的比较说明： 使用Spark SQL的优势：a.面向结构化数据；b.优化机制； RDD ...
分类：
数据库 时间：
2018-12-31 17:28:16
阅读次数：
235
注意SparkSQL JDBC和SparkSQL JDBCSever是完全两种不同的场景。 SparkSQL JDBC SparkSQL可以使用JDBC的方式访问其他数据库，和普通非spark程序访问jdbc的方式相同。只是Spark中访问jdbc提供了接口能够将得到的数据转化成DataFrame。 ...
分类：
数据库 时间：
2018-12-21 17:38:33
阅读次数：
232
Spark2.X傻瓜视频教程_Spark2视频教程下载课程分享链接:https://pan.baidu.com/s/1t2x6zEpR1PABC_y0TyXLBw密码:ltyt本课程照顾到零基础学员，从最基础的Linux入手，到Hadoop技术，再到Spark官方指定语言Scala，再到最后的SparkSQL，SparkStream技术，一站式全链路教学，Spark技术一课搞定，电商项目全程贯穿，
分类：
其他好文 时间：
2018-12-17 14:17:01
阅读次数：
265
如果有足够的时间和精力，可以按照上面的学习路线图和视频教程进行自学。 ...
分类：
其他好文 时间：
2018-12-11 18:16:45
阅读次数：
335
简介 spark SQL官网：http://spark.apache.org/docs/latest/sql-programming-guide.html sparkSQL是构建在sparkCore之上的组件，用于处理结构化的数据。它将数据抽象为DataFrame并提供丰富的API，并且sparkS ...
分类：
数据库 时间：
2018-12-09 22:36:38
阅读次数：
189
1.pom文件 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId> <version>${scala.version}</version> </dependency> <depen ...
分类：
数据库 时间：
2018-12-08 15:49:31
阅读次数：
157
首先 使用scala 写的 创建模式类 确定scheme e盘文件 q 1 1.1q 3 2.1f 4 44.1 ...
分类：
数据库 时间：
2018-11-26 20:06:37
阅读次数：
335
一、 前言 大数据时代已经到来，企业迫切希望从已经积累的数据中分析出有价值的东西，而用户行为的分析尤为重要。利用大数据来分析用户的行为与消费习惯，可以预测商品的发展的趋势，提高产品质量，同时提高用户满意度。 二、 初识用户画像 右边是一个人的基本属性，通过一个人的基本属性我们可以了解到这个人的基本信 ...
分类：
数据库 时间：
2018-11-24 23:51:22
阅读次数：
246
