1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql ...
分类：
数据库 时间：
2021-06-02 15:40:05
阅读次数：
0
本文转自:https://www.cnblogs.com/chhyan-dream/p/12013463.html 1、概述 为了更好地理解调度，我们先看一下集群模式的Spark程序运行架构图，如上所示： 2、Spark中的基本概念 1、Application：表示你的程序 2、Driver：表示m ...
分类：
其他好文 时间：
2021-06-02 15:22:12
阅读次数：
0
安装启动检查Mysql服务。 netstat -tunlp (3306) spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql she ...
分类：
数据库 时间：
2021-06-02 15:02:56
阅读次数：
0
一：第一大特性：依赖管理系统 maven为java世界引入了一个新的依赖管理系统jar包管理jar升级时修改配置文件即可，在java世界中，可以用groupid，artifactid，version组成的Coordination（做标）唯一标识一个依赖。 任何基于Maven构建的项目自身也必须定义这 ...
分类：
其他好文 时间：
2021-06-02 12:56:29
阅读次数：
0
读学生课程分数文件chapter4-data01.txt，创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每 ...
分类：
数据库 时间：
2021-06-02 12:16:19
阅读次数：
0
#模式匹配 TODO - 模式匹配 - 匹配规则 1.类似于java中switch 2.当数据满足某一个分支时，执行完毕后，就直接跳出 3.case _ 分支类似于default语言， 分支匹配其实就是顺序匹配 4.如果数据没有匹配任何规则，会发生错误 模式匹配语法中，采用match关键字声明，每个 ...
分类：
其他好文 时间：
2021-06-02 10:38:15
阅读次数：
0
map源码 //第一个参数传入一个函数,第二个参数为隐式参数，返回值和集合的类型一致都是B def map[B, That](f: A => B)(implicit bf: CanBuildFrom[Repr, B, That]): That = { //方法内部定义builder方法 def bu ...
分类：
其他好文 时间：
2021-06-02 10:36:00
阅读次数：
0
说明 使用了自定义的数据库连接池，没有对连接做timeout处理，以后再完善。 由于jdbc不能完全支持clickhouse中的数据类型，采用raw sql的方式处理。 后期考虑封装Java对象到Clickhouse数据类型的映射。 插入时应采用批量写入，例子中的代码仅为测试目的，没有做封装。 <d ...
分类：
数据库 时间：
2021-06-02 10:35:03
阅读次数：
0
1. HashMap的底层实现原理 HashMap的底层：数组+链表 （jdk7及之前） 数组+链表+红黑树 （jdk 8）HashMap的底层实现原理？以jdk7为例说明： HashMap map = new HashMap(): 在实例化以后，底层创建了长度是16的一维数组Entry[] tab ...
分类：
其他好文 时间：
2021-06-02 10:34:15
阅读次数：
0
