Application Application=a driver program + executors 一般来说：1个SparkContext = 1个application=1个SparkShell Spark提交任务不一定须在集群里提交，有gateway就行 1个application ==> ...
分类：
系统相关 时间：
2021-03-04 13:20:14
阅读次数：
0
什么是OFTP? OFTP（ODETTE File Transfer Protocol），即ODETTE（全称The Organisation for Data Exchange by Tele Transmission in Europe）文件传输协议创建于1986年，在EDI中广泛使用。其命名来 ...
分类：
其他好文 时间：
2021-03-04 12:56:24
阅读次数：
0
挖坑填数方 从数列中挑出一个元素，称为 "基准"（pivot）; 重新排序数列，所有元素比基准值小的摆放在基准前面，所有元素比基准值大的摆在基准的后面（相同的数可以到任一边）。在这个分区退出之后，该基准就处于数列的中间位置。这个称为分区（partition）操作； 递归地（recursive）把小于 ...
分类：
编程语言 时间：
2021-03-02 12:25:49
阅读次数：
0
一、 群的性质 {Z,+} 是否为群？若是，验证其满足群定义；若不是，说明理由。 {N,+} 是否为群？若是，验证其满足群定义；若不是，说明理由。 其中 Z 为整数集，N 为自然数集。 1）{Z,+}为群 封闭性验证: \(\forall a_1,a_2 \in Z\), 仍有$a_1+a_2\in ...
分类：
其他好文 时间：
2021-03-01 13:51:25
阅读次数：
0
首先本人还没有学习过rabbitmq，还不太知道其exchange和queue的存储和消费的机制。下面是个人的理解，日后要是学习了rabbitmq再来更正 springcloud-stream目前案例是使用rabbitmq作为支持，现在默认的destination是topic形式，不同的微服务实例会 ...
分类：
编程语言 时间：
2021-02-27 13:17:37
阅读次数：
0
主要是这两个sql start_log(利用get_json_object函数): insert overwrite table "$app".dwd_start_log PARTITION (dt='$do_date') select get_json_object(line,'$.mid') m ...
分类：
数据库 时间：
2021-02-23 14:36:54
阅读次数：
0
pyspark有个bug, 虽然下面代码写了 write.mode("overwrite")但是不生效 spark.conf.set("hive.exec.dynamic.partition.mode", "constrict") db_df.repartition(1).write.mode("o ...
分类：
其他好文 时间：
2021-02-23 14:14:20
阅读次数：
0
Exchanger的功能可以使2个线程之间传输数据,它比生产者消费者模式使用的wait/notify要更加方便,类Exchanger中的exchange()方法具有阻塞的特色,也就是此方法被调用后等待其他线程来取得数据，如果没有其他线程取得数据，则一直阻塞等待。Exchanger主要有两个方法 :e ...
分类：
编程语言 时间：
2021-02-22 12:34:21
阅读次数：
0
在围绕Hadoop形成的大数据技术生态当中，MapReduce的地位，在早期是处于核心地位的，但是伴随着数据处理实时性需求的不断提升，更多新的计算框架出现，MapReduce的地位受到压制，但是作为Hadoop原始计算框架，还是需要相应程度的了解和掌握的。今天的大数据入门分享，我们来具体讲一讲Map ...
分类：
其他好文 时间：
2021-02-09 12:33:28
阅读次数：
0
rownum 和 row_number()的区别 一、 Oracle中的rownum 用于从查询返回的行的编号，返回的第一行分配的是1，第二行是2，依次类推。这个伪字段可以用于限制查询返回的总行数，而且rownum不能以任何表的名称作为前缀。 rownum对于等于某值的查询条件 如果希望找到学生表中 ...
分类：
数据库 时间：
2021-02-08 12:51:03
阅读次数：
0
