一.分区 问题：按照条件将结果输出到不同文件中 自定义分区步骤 1.自定义继承Partitioner类，重写getPartition()方法 2.在job驱动Driver中设置自定义的Partitioner 3.在Driver中根据分区数设置reducetask数 分区数和reducetask关系 ...
分类：
编程语言 时间：
2020-06-21 11:32:34
阅读次数：
65
1，如果预聚合不影响最终结果，可以使用conbine，提前对数据聚合，减少数据量。 2，使用2次mr的方式。第一次mr，在map输出是给key加上一个前缀，则可以把相同的key分配到不同的reduce聚合，可以实现同一个key数据量大的问题；第二次mr对把第一次mr输出的数据的key去掉前缀，在聚合 ...
分类：
其他好文 时间：
2020-06-16 13:24:44
阅读次数：
54
https://www.cnblogs.com/mr-wid/archive/2013/02/18/2916309.html 1类定义示例: class 类名 { public: //公共的行为或属性 private: //公共的行为或属性 }; 2在类定义时定义成员函数 #include <ios ...
分类：
其他好文 时间：
2020-06-11 09:14:37
阅读次数：
49
恢复内容开始 大数据的分布式计算框架目前使用的最多的就是hadoop的mapReduce和Spark，mapReducehe和Spark之间的最大区别是前者较偏向于离线处理，而后者重视实现性，下面主要介绍mapReducehe和Spark两者的shuffle过程。 MapReduce的Shuffle ...
分类：
其他好文 时间：
2020-06-08 19:17:29
阅读次数：
88
Failed redirect for xxxxxxxxxxx Failed while trying to construct the redirect url to the log server. Log Server url may not be configured Unknown cont ...
分类：
其他好文 时间：
2020-06-06 13:18:10
阅读次数：
96
URL化。编写一种方法，将字符串中的空格全部替换为%20。假定该字符串尾部有足够的空间存放新增字符，并且知道字符串的“真实”长度。（注：用Java实现的话，请使用字符数组实现，以便直接在数组上操作。） 示例1: 输入："Mr John Smith ", 13 输出："Mr%20John%20Smit ...
分类：
Web程序 时间：
2020-06-06 11:19:52
阅读次数：
74
出直： https://www.cnblogs.com/mr-yang-localhost/p/7812038.html 目录 一、参数校验 二、hibernate validator校验demo 三、hibernate的校验模式 1、普通模式（默认是这个模式） 2、快速失败返回模式 四、hiber ...
分类：
编程语言 时间：
2020-06-04 19:30:30
阅读次数：
66
下面是用C写的一个判断汉字的程序: #include<stdio.h> int main(void) { int i; //mr:: str[80]的类型不能写成 char,必须加上 unsigned unsigned char str[80]; puts("input string:"); sca ...
分类：
其他好文 时间：
2020-06-01 20:38:02
阅读次数：
70
"题目链接" 题目大意 有N个学生合影，站成左对齐的k排，每行分别有N1,N2…NK个人，第一排站最后，第k排站之前。学生身高依次是1…N。在合影时候要求每一排从左到右递减，每一列从后面到前也递减，一共有多少总方案。 解题思路 考虑放最低的学生的情况，我们会发现，对于所有情况，最低的学生只能放在某一 ...
分类：
其他好文 时间：
2020-05-22 22:56:50
阅读次数：
99
一、时钟的配置路线 二、具体代码实现 1.bsp_clk.c文件中的内容： /* * bsp_clk.c * * Created on: 2020年5月20日 * Author: Mr.W */ #include "bsp_clk.h" /* **************************** ...
分类：
其他好文 时间：
2020-05-20 20:18:58
阅读次数：
54
