浅谈js面向对象 /** * 浅谈js面向对象 * author: Mr Lee (James Lee) */ /* 一、创建一个类 创建一个类（具有相同属性和行为的对象的集合 */ const User = function (id, name, age) { this.id = id this. ...
分类：
Web程序 时间：
2020-09-17 16:37:06
阅读次数：
30
二分答案，设$s_{i,j}$表示第$i$天对竹子$j$的操作次数，$h_{i,j}$表示第$i$天结束时竹子$j$的高度，则$h_{i,j}=\max(h_{i-1,j}-ps_{i,j},0)+a_{j}$，合法当且仅当$h_{0,i}=h_{i}$且$h_{m,i}\le ans$ 令$h'_ ...
分类：
其他好文 时间：
2020-09-03 17:08:46
阅读次数：
58
数据预处理 在正式处理数据之前对收集的数据进行预先处理的操作。 原因：不管通过何种手段收集的数据 往往是不利于直接分析的 数据中存在的格式规整的差异。 目的：把不干净的数据 格式不规则的数据 通过预处理清洗变成格式统一规整的结构化数据 技术：MapReduce 预处理的编程思路问题 在使用mr编程的 ...
分类：
Web程序 时间：
2020-08-10 17:26:02
阅读次数：
80
Combiner是MR程序中Mapper和Reducer之外的一种组件(本质是一个Reducer类) Combinr组件的父类就是Reducer Conbimer只有在驱动类里设置了之后，才会运行 Combiner和Reducer的区别在于运行的位置： map sort copy sort(shuf ...
分类：
其他好文 时间：
2020-07-30 01:32:34
阅读次数：
65
1，hive架构 1）client，客户端 2）Driver：驱动器 3）解析器，编译器，优化器，执行器 4）底层默认使用mr作为数据处理引擎 5）元数据，通常配置mysql来存储，这样支持多个客户端的访问 2，hive和传统数据库的比较 相同之处：都拥有类似的查询语言 不同之处： 1）数据存储位置 ...
分类：
其他好文 时间：
2020-07-21 22:25:52
阅读次数：
76
今天MR的数据源很可能出现了问题，正常每天对方服务器会推过来2.1TB数据，今天只有1.6TB。 过来是gz压缩包，FTP的方式推送，进来之后我这边的程序进行解析，并存入HDFS。 对端的工程师只能看到压缩包目录的大小，看不到压缩前文件总大小，商量了一下，觉得不好对比数据一致性，想排查数据量问题，没 ...
分类：
其他好文 时间：
2020-07-17 09:40:37
阅读次数：
123
Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）vi /etc/security/limits.conf 添加 ：sof ...
分类：
其他好文 时间：
2020-07-15 12:46:25
阅读次数：
86
POJ2279 Mr. Young's Picture Permutations 有N个学生合影，站成左对齐的k排，每行分别有N1,N2…NK个人，第一排站最后，第k排站之前。学生身高依次是1…N。在合影时候要求每一排从左到右递减，每一列从后面到前也递减，一共有多少总方案 Input 输入每组测试数 ...
分类：
其他好文 时间：
2020-07-11 12:37:35
阅读次数：
71
map数量 计算向数据移动，map计算框架移动到Block map和Block不是一一对应，map与逻辑片（split）一一对应。原因：单个块可能过大，map处理时间长。所以block逻辑分块，多来几个map reduce数量 按理说reduce应该和key数量一样，但是可能存在不同key对应的数据 ...
分类：
其他好文 时间：
2020-07-07 17:43:22
阅读次数：
85
