本文主要记录Hadoop 2.x版本中MapReduce参数调优，不涉及Yarn的调优。 Hadoop的默认配置文件（以cdh5.0.1为例）： core-default.xml hdfs-default.xml mapred-default.xml 说明： 在hadoop2中有些参数名称过时了，例 ...
分类：
其他好文 时间：
2019-04-30 23:44:35
阅读次数：
195
面试问题： 请谈谈你对JVM的理解?java8版有什么了解？ 谈谈JVM中你对ClassLoader类加载器的认识？ 什么是OOM？写代码使得分别出现StackOverflowError和OutOfMemoryError JVM的常用参数调优你了解吗？ 内存快照抓取和MAT分析hprof文件干过吗？ ...
分类：
其他好文 时间：
2019-04-06 09:30:33
阅读次数：
94
0.内部设置跳板机，服务器只能通过跳板机登录1.禁止ROOT用户远程登录和登录端口 禁止ROOT用户远程登录 。打开 /etc/ssh/sshd_config PermitRootLogin no 2.对用户密码强度的设定 12个字符以上，大小写，特殊字符 3.对重要的文件进行锁定，即使ROOT用户... ...
分类：
系统相关 时间：
2019-04-05 13:58:00
阅读次数：
254
同志们，此部分，重要的不能再重要了1、HBase发展到当下，对其进行的各种优化从未停止，而GC优化更是其中的重中之重。hbasegc调优方向从0.94版本提出MemStoreLAB策略、MemstoreChuckPool策略对写缓存Memstore进行优化开始，到0.96版本提出BucketCache以及堆外内存方案对读缓存BlockCache进行优化，再到后续2.0版本宣称会引入更多堆外内存，可
分类：
其他好文 时间：
2019-04-02 23:59:59
阅读次数：
320
堆内存溢出： 此种溢出，加内存只能缓解问题，不能根除问题，需优化代码堆内存中存在大量对象，这些对象都有被引用，当所有对象占用空间达到堆内存的最大值，就会出现内存溢出OutOfMemory:Java heap space 永久代溢出 如果发生，则是在初始化的时候，空间太小，解决办法，扩大空间类的一些信 ...
分类：
其他好文 时间：
2019-03-23 13:03:05
阅读次数：
165
Java之JVM监控工具分享 JVM的基本知识常用的也就是 ，`内存区域、分配、OOM GC JVM参数调优` 几个链接自己看： "内存区域&类加载机制" "分配策略&垃圾回收算法、收集器" 今天结合代码讲一讲常用的java自带工具讲解，这些命令一般都是jdk/lib/tools.jar中。用来监控 ...
分类：
编程语言 时间：
2019-03-22 13:06:34
阅读次数：
499
【Spark内存模型】 Spark在一个executor中的内存分为3块：storage内存、execution内存、other内存。 1. storage内存：存储broadcast，cache，persist数据的地方。 2. execution内存：执行内存，join、aggregate、ma ...
分类：
其他好文 时间：
2019-03-18 01:15:47
阅读次数：
156
当spark跑在yarn上时 单个executor执行时，数据量过大时会导致executor的memory不足而使得rdd 最后lost，最终导致任务执行失败 其中会抛出如图异常信息 如图中异常所示 对应解决方法可以加上对应的参数调优(这个配置可以在总的处理数据量在几百TB或者1~3PB级别的数据处 ...
分类：
其他好文 时间：
2019-02-28 15:01:13
阅读次数：
656
自动内存管理机制 Java虚拟机原理 所谓虚拟机，就是一台虚拟的机器。他是一款软件，用来执行一系列虚拟计算指令，大体上虚拟机可以分为 系统虚拟机和程序虚拟机， 大名鼎鼎的Visual Box、Vmare就属于系统虚拟机，他们完全是对物理计算的仿真， 提供了一个可以运行完整操作系统的软件平台。 程序虚 ...
分类：
其他好文 时间：
2019-01-26 11:18:03
阅读次数：
220
