原因 混合java 和scala 无法编译 解决 右键项目 > properties > scala Compiler >勾选Use Project Setting > Scala Installation > Fixed Scala Installation(对应版本)(built-in) > B ...
分类：
系统相关 时间：
2020-06-06 09:27:26
阅读次数：
114
直接上代码。 Vue+Sass，在_function.scss中写入，然后对对应的页面需要import即可(或者全局引入) $designWidth: 750; @function remVal($px) { @if unitless($px) { @return $px * $designWidt ...
分类：
其他好文 时间：
2020-06-05 14:56:36
阅读次数：
106
目前市面上流行的三大开源数据湖方案分别为：delta、Apache Iceberg和Apache Hudi。 其中，由于Apache Spark在商业化上取得巨大成功，所以由其背后商业公司Databricks推出的delta也显得格外亮眼。 Apache Hudi是由Uber的工程师为满足其内部数据 ...
分类：
其他好文 时间：
2020-06-05 14:44:10
阅读次数：
362
今天晚上，我们老师给我们布置了一个任务，用spark读取一些json数据，然后做一些数据分析的任务 我以为重头戏是数据分析的部分，没想到自己被读取json数据拦了1个多小时，写篇博客记录下 orz 常规的读取数据： val userInfo = spark.read.format("json"). ...
分类：
Web程序 时间：
2020-06-04 21:21:41
阅读次数：
129
大家可能都知道很熟悉Spark的两种常见的数据读取方式（存放到RDD中）：（1）、调用parallelize函数直接从集合中获取数据，并存入RDD中；Java版本如下： JavaRDD<Integer> myRDD = sc.parallelize(Arrays.asList(1,2,3)); Sc ...
分类：
其他好文 时间：
2020-06-04 10:38:09
阅读次数：
76
1.java编译报错 错误 Error: A JNI error has occurred, please check your installation and try again 👆下面还有其他报错但我没有截到，但问题的原因都是这个👆 这个错误一般情况是由于java 版本 与javac 版本 ...
分类：
其他好文 时间：
2020-06-04 01:04:18
阅读次数：
78
生态 Spark Core：最重要，其中最重要的是RDD（弹性分布式数据集） Spark SQL Spark Streaming Spark MLLib：机器学习算法 Spark Graphx：图计算 特点 针对大规模数据处理的快速通用引擎 基于内存计算 速度快，易用，兼容性强 体系架构 主节点：C ...
分类：
数据库 时间：
2020-06-03 20:48:29
阅读次数：
89
静态属性和静态方法 基本介绍 回顾下Java的静态概念 静态方法：public static 返回值类型 方法名(参数列表) {方法体} 静态属性：public static 属性名... 说明: Java中静态方法并不是通过对象调用的，而是通过类对象调用的，所以静态操作并不是面向对象的。 Scal ...
分类：
其他好文 时间：
2020-06-01 20:39:29
阅读次数：
61
1.下载spark源码包2.下载scala3.下载maven4.防止maven内溢出: export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 5.在spark目录下，有pom文件的那里 执行： 执行maven安装 ./build/mvn ...
分类：
其他好文 时间：
2020-06-01 01:15:14
阅读次数：
74
