（1）自定义UDFobjectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)Logger.getLogger("org.apache.spark").setLevel(Level.WARN)Logger.getLogg
分类：
数据库 时间：
2019-01-06 11:19:51
阅读次数：
181
（1）骨灰级案例--UDTF求wordcount数据格式：每一行都是字符串并且以空格分开。代码实现：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)Logger.getLogger("org.apache.s
分类：
数据库 时间：
2019-01-06 00:03:22
阅读次数：
216
接下来做的操作是：（这个操作，将程序打成jar包到集群中运行）（1）编写spark程序在线上的hive中创建表并导入数据（2）查询hive中的数据（3）将查询结果保存到MySQL中代码：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLeve
分类：
数据库 时间：
2019-01-05 22:52:41
阅读次数：
252
入门案例：objectSparkSqlTest{defmain(args:Array[String]):Unit={//屏蔽多余的日志Logger.getLogger("org.apache.hadoop").setLevel(Level.WARN)Logger.getLogger("org.apache.spark").setLevel(Level.WARN)Logger.getLogger("
分类：
数据库 时间：
2019-01-05 20:39:05
阅读次数：
184
1---》字符串的声明： 1、string s=new string(char[] arr) //根据一个字符数组声明字符串，即将字符字组转化为字符串。 2、string s=new string(char r,int i) //生成 i 个字符 r 的字符串。 2---》字符串常用的静态方法： 1... ...
1.典型的模式匹配场景(1)匹配字符串objectTest01{defmain(args:Array[String]):Unit={valarr=Array("aa","bb","cc")//随机获取数组的任意元素valindex=Random.nextInt(3)valvalue=arr(index)//模式匹配valuematch{case"aa"=>println("0")case"b
分类：
其他好文 时间：
2018-12-30 12:47:46
阅读次数：
158
1.变量的定义注意：在scala中没有static的概念，在object这个关键字修饰的类中所有的方法和属性都是static的。这里的object类叫做伴生类，目前不涉及。例：objectTest01{defmain(args:Array[String]):Unit={//使用val定义的变量是不可变的，相当于java中的final修饰的valv1=1//使用var定义的变量的值是可变的，在sca
分类：
其他好文 时间：
2018-12-29 13:54:28
阅读次数：
203
1.单列模式 2.工厂模式 3.构造函数 （1）类 js天生自带的类 Object基类 Function Array String Number Math Date Boolean Regexp ...
分类：
Web程序 时间：
2018-11-30 15:47:30
阅读次数：
166
package com.dt.spark.scala.bascis object Functional_Itearal { def main(args: Array[String]): Unit = { val range = 1 to 10 val list = List(1,2,3,4,5) p... ...
分类：
其他好文 时间：
2018-11-21 19:45:51
阅读次数：
136
object CaseClassDemo{ def main(args: Array[String]): Unit = { //定义样例类 //默认带有apply方法 //构造函数的参数默认是public val修饰的 case class Message(var sender: String, r ...
分类：
其他好文 时间：
2018-11-17 20:55:05
阅读次数：
188
