Hadoop原生的计算框架MapReduce，简单概括一下：进程量级很重，启动很慢，但能承载的数据量很大，效率相较于Spark微批处理和Flink实时来讲很慢，Shuffle任何一个写MR同学都必须掌握的东西，说难不难，说简单也不简单 MapReduce程序的五个阶段： input map shuf ...
分类：
其他好文 时间：
2020-07-15 15:53:30
阅读次数：
58
hadoop Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 程序里面打开文件数达到上限，系统一般默认数量是1024，（用ulimit -a可以看到）vi /etc/security/limits.conf 添加 ：sof ...
分类：
其他好文 时间：
2020-07-15 12:46:25
阅读次数：
86
一、MFC中序列化的五个步骤： 继承自CObject类 重写Serialize()函数 在类的申明中使用DECLARE_SERIAL 宏 定义一个无参数的构造函数（重建对象的时候要用） 在cpp文件中添加IMPLEMENT_SERIAL宏 如果类没重载<<和>>，可自行调用 ar.Write(&m_ ...
分类：
编程语言 时间：
2020-07-14 21:56:06
阅读次数：
88
Don't Panic!Your ram is fine! 不要惊慌，你的内存很好 What's going on?（这是怎么回事？） Linux is borrowing unused memory for disk caching. This makes it looks like you ar ...
分类：
系统相关 时间：
2020-07-12 01:07:14
阅读次数：
111
这是我在使用 Java 中 Collectionc 类的一些最佳实践： a）使用正确的集合类，例如，如果不需要同步列表，使用 ArrayList 而不是 Vector。 b）优先使用并发集合，而不是对集合进行同步。并发集合提供更好的可扩展性。 c）使用接口代表和访问集合，如使用 List 存储 Ar ...
分类：
编程语言 时间：
2020-07-11 22:51:42
阅读次数：
93
1. OSPF的NSSA（not so stub area）区域 不接收5类LSA，但是可以引入外部路由，引入一种新的7类的NSSA的LSA 场景：一个分支现在不接收5类LSA，同时还要在本区域得到默认路由去指向运行商而不是总公司（area 0） [SW3-ospf-1]ar [SW3-ospf-1 ...
分类：
其他好文 时间：
2020-07-11 22:40:14
阅读次数：
63
POJ2279 Mr. Young's Picture Permutations 有N个学生合影，站成左对齐的k排，每行分别有N1,N2…NK个人，第一排站最后，第k排站之前。学生身高依次是1…N。在合影时候要求每一排从左到右递减，每一列从后面到前也递减，一共有多少总方案 Input 输入每组测试数 ...
分类：
其他好文 时间：
2020-07-11 12:37:35
阅读次数：
71
冯·诺依曼计算机的工作原理 存储程序工作原理 结构特点 运算器为核心 冯·诺依曼机的工作过程 微机读取一条指令的工作过程 将指令所在地址赋给程序计数器PC; PC内容送到地址寄存器AR，PC自动加1; 把AR的内容通过地址总线送至内存储器，经地址译码器译码，选中相应单元。 CPU的控制器发出读命令。 ...
分类：
其他好文 时间：
2020-07-11 00:02:37
阅读次数：
77
[C 语言中文开发手册ceilf (Numerics) - C 中文开发手册 在头文件中定义??float ceilf( float arg );(1)(since C99)double ceil( double arg );(2)?long double ceill( long double ar... ...
分类：
其他好文 时间：
2020-07-09 12:29:32
阅读次数：
90
慢查询分析工具【mysqldumpslow】 常用的慢查询日志分析工具 汇总除查询条件外其他完全相同的SQL，并将分析结果按照参数中所指定的顺序输出 语法： mysqldumpslow -s r -t 10 slow-mysql.log -s order(c,t,l,r,at,al,ar) c:总次 ...
分类：
数据库 时间：
2020-07-09 00:59:37
阅读次数：
223
