要求： creat_lmdb.bat在train_val_dataset同级目录下， 格式： F:\caffe-master\Build\x64\Release\convert_imageset.exe --shuffle train_val_dataset\testset\ train_val_d ...
分类：
数据库 时间：
2020-07-01 12:28:09
阅读次数：
60
Broadcast Join 适合情况，小表和大表，小表非常小，适合传播到各个节点。 当大表小表连接时，为了避免Shuffle，我们可以将小表广播到各个节点内存，供大表连接。一定程度上牺牲了空间，避免了Shuffle。这种Join在Spark中称作Broadcast Join。（需要注意的点是广播的 ...
分类：
其他好文 时间：
2020-06-24 16:28:44
阅读次数：
53
Collections工具类1.作用：操作Collection和Map的工具类 2.常用方法：reverse(List)：反转 List 中元素的顺序shuffle(List)：对 List 集合元素进行随机排序sort(List)：根据元素的自然顺序对指定 List 集合元素升序排序sort(Li ...
分类：
编程语言 时间：
2020-06-23 21:01:02
阅读次数：
55
深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线架构和实时架构，带领大家构建
分类：
其他好文 时间：
2020-06-23 18:39:30
阅读次数：
58
元数据更新过程？ MapReduce的Shuffle过程？ HDFS的读的流程？ HDFS写的流程？ 如何将hadoop配置文件从一台机器同步到另一台机器上？ scp -r hadoop-2.7.3 hpsk@192.168.134.222:/opt/modules/ 如何终止yarn上正在运行的程 ...
分类：
其他好文 时间：
2020-06-15 23:20:15
阅读次数：
144
5. 实战Structured Streaming 5.1. Static版本 先读一份static 数据： val static = spark.read.json("s3://tang-spark/data/activity-data/") static.printSchema root |-- ...
分类：
其他好文 时间：
2020-06-12 12:48:53
阅读次数：
137
Given the array nums consisting of 2n elements in the form [x1,x2,...,xn,y1,y2,...,yn]. Return the array in the form [x1,y1,x2,y2,...,xn,yn]. Example ...
分类：
其他好文 时间：
2020-06-09 09:20:59
阅读次数：
68
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类：
其他好文 时间：
2020-06-08 19:17:29
阅读次数：
88
一、收集 执行NewOutputCollector对象的write方法就开启了对map输出数据的收集过程： ? collector是一个MapOutputCollector类型的变量，它是实际执行收集数据功能的对象载体： private final MapOutputCollector<K,V> c ...
分类：
其他好文 时间：
2020-06-08 18:53:43
阅读次数：
64
Decord Video Reader Example import decord as de from matplotlib import pyplot as plt # using cpu in this example ctx = de.cpu(0) # example video video ...
分类：
Web程序 时间：
2020-06-08 00:53:36
阅读次数：
95
