Numpy的一些记录 产生numpy.array的方式 import numpy as np arr1 = np.array([1, 2, 3]) print(arr1) arr2 = np.zeros(3) print(arr2) arr3 = np.ones(3) print(arr3) arr ...
分类：
其他好文 时间：
2020-08-17 17:43:21
阅读次数：
65
1.mapReduce 的shuffle 过程 ： https://www.iteye.com/blog/langyu-992916 2.spark streaming : https://www.jianshu.com/p/0691204282ab CAS的理解? https://www.jian ...
分类：
其他好文 时间：
2020-08-13 12:10:50
阅读次数：
53
4 WritableComparable排序 1．排序的分类 2．自定义排序WritableComparable （1）原理分析 bean对象做为key传输，需要实现WritableComparable接口重写compareTo方法，就可以实现排序。 @Override public int com ...
分类：
其他好文 时间：
2020-07-19 23:23:07
阅读次数：
67
7 Combiner合并 （6）自定义Combiner实现步骤 （a）自定义一个Combiner继承Reducer，重写Reduce方法 public class WordcountCombiner extends Reducer<Text, IntWritable, Text,IntWritabl ...
分类：
其他好文 时间：
2020-07-19 23:19:55
阅读次数：
69
一、Collections工具类 Collections 工具类常用方法: 排序 查找,替换 同步控制(不推荐，需要线程安全的集合类型时请考虑使用 JUC 包下的并发集合) 1. 排序 void reverse(List list)//反转 void shuffle(List list)//随机排序 ...
分类：
其他好文 时间：
2020-07-17 09:24:50
阅读次数：
78
什么是Shuffle 在RDD中，将每个相同key的value聚合起来。相同key的value可能在不同partition，也可能在不同节点。因此shuffle操作会影响多个节点。 常见的shuffle操作有：groupByKey(),reduceBykey()等。 Shuffle Write和Re ...
分类：
其他好文 时间：
2020-07-16 10:12:36
阅读次数：
63
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）vi /etc/security/limits.conf 添加 ：sof ...
分类：
其他好文 时间：
2020-07-15 12:46:25
阅读次数：
86
晴天。/** * 模拟斗地主洗牌发牌 * 1. 准备牌： 完成数字与纸牌的映射关系： 使用双列Map(HashMap)集合，完成一个数字与字符串纸牌的对应关系(相当于一个字典)。 2. 洗牌： 通过数字完成洗牌发牌 3. 发牌： 将每个人以及底牌设计为ArrayList,将后3张牌直接存放于底牌，剩 ...
分类：
其他好文 时间：
2020-07-08 16:50:24
阅读次数：
76
最小圆覆盖 主要是我太菜了不会证明qwq，上面的博客讲的非常好。 主要是存代码： #include<cstdio> #include<cstring> #include<iostream> #include<algorithm> #include<cmath> using namespace std ...
分类：
其他好文 时间：
2020-07-03 10:23:25
阅读次数：
46
