在生产环境中遇到了这种情况：spark程序需要处理输入是多个目录，输出也是多个目录。但是处理的逻辑都是相同的。使用方法经历多次修改，最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理，在此记录一下。 程序中所有异常处理，建议都在函数里面处理好，不要直接写一些处理代码。这样 ...
分类：
数据库 时间：
2020-06-27 00:17:57
阅读次数：
80
java.util.Optional类1.理解：为了解决java中的空指针问题而生！Optional<T> 类(java.util.Optional) 是一个容器类，它可以保存类型T的值，代表这个值存在。或者仅仅保存null，表示这个值不存在。原来用 null 表示一个值不存在，现在 Optiona ...
分类：
编程语言 时间：
2020-06-27 00:12:17
阅读次数：
82
测试入门秘籍<<独孤九剑>>之破剑式-软件测试流程 软件测试环境搭建原则 搭建测试环境前 确定测试目的 功能测试，稳定性测试，还是性能测试， 测试目的不同，搭建测试环境时应该注意的点也不同 功能测试：不需要大量的数据，需要覆盖率高，测试数据要求尽量真实。 性能测试：可能需要大量存量数据或者与实际硬件 ...
分类：
其他好文 时间：
2020-06-26 23:53:18
阅读次数：
87
Digix2019华为算法精英挑战赛代码 最终成绩: 决赛第九 问题 根据手机型号，颜色，用户偏好，手机APP等信息预测用户年龄． https://developer.huawei.com/consumer/cn/activity/devStarAI/algo/competition.html#/p ...
分类：
编程语言 时间：
2020-06-26 22:35:31
阅读次数：
263
1.NIO的使用说明：>Java NIO (New IO，Non-Blocking IO)是从Java 1.4版本开始引入的一套新的IO API，可以替代标准的Java IO AP。>NIO与原来的IO同样的作用和目的，但是使用的方式完全不同，NIO支持面向缓冲区的(IO是面向流的)、基于通道的IO ...
分类：
编程语言 时间：
2020-06-26 22:15:47
阅读次数：
69
1.类的加载过程 了解 2.类的加载器的作用 3.类的加载器的分类 4.Java类编译、运行的执行的流程 5.使用Classloader加载src目录下的配置文件 @Test public void test2() throws Exception { Properties pros = new P ...
分类：
编程语言 时间：
2020-06-26 22:04:32
阅读次数：
55
高并发模拟测试工具 postman apache bench(AB) JMeter (1) 使用postman创建并发模拟测试 据说这种方式的并发测试看看就行了, 没用, 使用的是串行不是并发 填入并发和延迟, 基本完成了 (2) apache bench(ab) 需要安装apache 通过上面的方 ...
分类：
其他好文 时间：
2020-06-26 18:16:23
阅读次数：
71
<!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=device-width, initial-scale=1.0"> <title>Document< ...
分类：
Web程序 时间：
2020-06-26 16:35:08
阅读次数：
71
1.介绍 选择排序算法属于内部排序算法，是从欲排序的数据中，按指定的规则选出某一元素，再依规定交换位置达到排序的目的 时间复杂度：O(n^2) 双层for 2.思想 选择排序（select sorting）也是一种简单的排序方法。它的基本思想是：第一次从arr[0]~arr[n-1]中选取最小值， ...
分类：
编程语言 时间：
2020-06-26 16:30:07
阅读次数：
127
题面 其实从题目的标题当中我们已经可以得到很多信息了，实际上也的确如此，这题的题面和标题八九不离十，需要我们对一个有序的数组进行去重。不过去重的条件是最多允许一个元素出现两次，也就是要将多余的元素去掉。并且题目还限制了需要我们在原数组进行操作，对于空间复杂度的要求是。由于我们去除了元素之后会带来数组 ...
分类：
编程语言 时间：
2020-06-26 14:52:56
阅读次数：
54
