可能是Hadoop hdfs mapreduce最亲民的介绍
分类：
其他好文 时间：
2020-10-30 13:03:28
阅读次数：
17
linux_01_seq_shuf_sort seq 产生自然序列的数字，在一定范围内 seq 10 产生1-10 十个数字 seq 5 10 产生5-10 六个数字 shuf 洗牌的意思 打乱输入序列的顺序 sort 排序 默认情况下 sort 是按照以默认的方式将文本文件的第一列以ASCII 码 ...
分类：
系统相关 时间：
2020-10-19 22:49:24
阅读次数：
22
联赛模拟11 T2因为 \(K==1\) 的时候 \(spj\) 了，\(x\) $ y$坐标输出反了，当场爆0， \(\Huge100pts$\)\huge飞了$，T4打线段树居然跑得比暴力还慢，我裂开了，没想到居然就是一个哈希，线段树模板二，$2333$ 晚间测试2 T1我一眼就看出来是卡特兰数 ...
分类：
其他好文 时间：
2020-10-13 17:11:52
阅读次数：
17
问题描述： TensorFlow中dataset方法中 dataset = dataset.shuffle(buffer_size=20).repeat().batch(batch_size) 其中shuffle的buffer_size是有什么用？ 答： 是做随机采样使用的缓冲大小，buffer_s ...
分类：
其他好文 时间：
2020-09-11 16:12:19
阅读次数：
77
Numpy的一些记录 产生numpy.array的方式 import numpy as np arr1 = np.array([1, 2, 3]) print(arr1) arr2 = np.zeros(3) print(arr2) arr3 = np.ones(3) print(arr3) arr ...
分类：
其他好文 时间：
2020-08-17 17:43:21
阅读次数：
65
http://acm.hdu.edu.cn/showproblem.php?pid=6804 两班各选几人参加比赛，每个人都有体重和魅力值，要求在两边体重相等的情况下魅力值最大。 看起来是经典背包题，但是由于体重的和最大可能达到 $10^6$ ，所以复杂度爆表。 于是……为什么最近的几场比赛都和随机 ...
分类：
其他好文 时间：
2020-07-31 21:49:29
阅读次数：
187
题意: 多组输入，给定a,b两个数组，长度分别为n,m。每个元素有两个值:wi,vi，要求从两个数组中分别选出一个子数组，使得两个子数组的wi和相同，并使总的vi之和最大。 数据范围：n,m<=1e3，wi<=1e3，vi<=1e9，\(\sum(n+m)<=1e4\) 解法: 很容易想到分别对两个 ...
分类：
其他好文 时间：
2020-07-31 18:01:31
阅读次数：
115
Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，才会运行 Combiner和Reducer的区别在于运行的位置： map sort copy sort(shuf ...
分类：
其他好文 时间：
2020-07-30 01:32:34
阅读次数：
65
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
Linux部分 ①列举你使用的常用指令？ ②怎么查看服务是否开启？后面的参数都是什么意思？ ③怎么查看服务器内存使用情况？ ④日志查看指令？ ⑤跨机房怎么传输文件？ Hadoop部分 ①怎么搭建一个Hadoop集群？ ②Hadoop的Shuffer机制？ ③切片概念？文件256M时，几个切片？ ④M ...
分类：
其他好文 时间：
2020-07-08 13:03:03
阅读次数：
59
