最近看了一篇非常有趣的文章：关于JavaScript的数组随机排序，其作者为oldj前辈。文中指出我们用来“将一个数组随机排序”的经典写法所存在的问题，获益匪浅。 本文将以更加详尽的材料和更多样的code demo进行阐述。并尝试用“Fisher–Yates shuffle”洗牌算法进行终极解答。 ...
分类：
编程语言 时间：
2020-03-18 09:41:56
阅读次数：
58
1 from torch.utils.data import DataLoader 2 from torchvision import datasets 3 from PIL import Image as img 4 5 dataPath = './data/imgs/' 6 7 dataset ...
分类：
其他好文 时间：
2020-03-17 21:16:41
阅读次数：
123
一、MapReduce编程思想 mapReduce编程模型的总结： MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤 Map阶段2个步骤 第一步：设置inputFormat类，将我们的数据切分成key，value对，输入到第二 ...
分类：
其他好文 时间：
2020-03-13 19:11:00
阅读次数：
60
1. 摘要 最近，神经网络的架构设计都是基于计算复杂度的间接度量，比如 FLOPs。然而，直接的度量比如运行速度，其实也会依赖于内存访问和平台特性等其它因素。 因此本文建议直接在目标平台上用直接度量进行测试。基于一系列控制条件实验，作者提出了设计高效网络结构的一些实用指导思想，并据此提出了一个称之为 ...
分类：
Web程序 时间：
2020-03-13 12:56:14
阅读次数：
65
分组策略shuffle 随机分组field分组安装指定filed的key进行hash处理，相同的field，一定进入到同一bolt.该分组容易产生数据倾斜问题，通过使用二次聚合避免此类问题。使用二次聚合避免倾斜。App入口类12345678910111213141516171819202122232... ...
分类：
其他好文 时间：
2020-03-04 16:19:27
阅读次数：
75
【摘要】 external-shuffle-service是Spark里面一个重要的特性，有了它后，executor可以在不同的stage阶段动态改变数量，大大提升集群资源利用率。但是这个特性当前在k8s上并不能很好的运行。让我们来看看，在k8s上要实现这个external-shuffle-serv ...
分类：
其他好文 时间：
2020-02-29 16:18:30
阅读次数：
112
在Spark中，RDD（弹性分布式数据集）存在依赖关系，宽依赖和窄依赖。 宽依赖和窄依赖的区别是RDD之间是否存在shuffle操作。 窄依赖 窄依赖指父RDD的每一个分区最多被一个子RDD的分区所用，即一个父RDD对应一个子RDD或多个父RDD对应一个子RDD map,filter,union属于 ...
分类：
其他好文 时间：
2020-02-28 11:44:48
阅读次数：
46
在每个maptask的结束，我们拿到的是<K,V>的队列，在Reduce中，输入的是<K,Iterable V>。在中间有一个被称为Shuffle的工作，将Maptask的数据按Key排序。其主要的工作，大体上讲1.完整地从map task端拉取数据到reduce端。2.在跨节点拉取数据时，尽可能地 ...
分类：
其他好文 时间：
2020-02-26 01:11:33
阅读次数：
80
博客链接 https://blog.csdn.net/commonc/article/details/52291822 #include<bits/stdc++.h> using namespace std; #define N 100005 typedef double db; const db ...
分类：
其他好文 时间：
2020-02-24 20:47:53
阅读次数：
60
一：MapReduce框架 （结合YARN框架） 补充：MapReduce框架知道我们写的map-reduce程序的运行逻辑。我们写的map-reduce中并没有管理层的任务运行分配逻辑，该逻辑被封装在MapReduce框架里面，被封装为MRAppMaster类，该类用于管理整个map-reduce ...
分类：
其他好文 时间：
2020-02-24 18:50:55
阅读次数：
71
