先搬个砖： 一：Hive是什么 Hive是面向大数据的数据仓库，是一种将SQL转换为mapreduce的工具。 二：mapreduce的基本流程及阶段可进行的优化操作 （其实有很多不用设置有默认的设置或设置后反而执行时间长，此处做了解，参考设置在下一节） 附上网上的一张老图（虽然老但是很具有代表性， ...
分类：
其他好文 时间：
2020-10-16 11:19:02
阅读次数：
24
监控工具：jvisualVM、VisaulVM、jprofiler JVM优化书籍：《Java性能优化权威指南》、《深入理解java虚拟机》 1.年轻代空间不足 2.per Gen（永久代）空间满 3.CMS GC时出现promotion failed和concurrent mode failure ...
分类：
其他好文 时间：
2020-07-14 10:36:50
阅读次数：
187
对老年代触发垃圾回收的时机，一般就是两个： 要不然是在Minor GC之前，一通检查发现很可能Minor GC之后要进入老年代的对象太多了，老年代放不下，此时需要提前触发Full GC然后再带着进行Minor GC； 要不然是在Minor GC之后，发现剩余对象太多放入老年代都放不下了。 那么对老年 ...
分类：
其他好文 时间：
2020-07-07 13:23:18
阅读次数：
52
参数基本策略 各分区的大小对GC的性能影响很大。如何将各分区调整到合适的大小，分析活跃数据的大小是很好的切入点。 活跃数据的大小是指，应用程序稳定运行时长期存活对象在堆中占用的空间大小，也就是Full GC后堆中老年代占用空间的大小。可以通过GC日志中Full GC之后老年代数据大小得出，比较准确的 ...
分类：
其他好文 时间：
2020-07-06 18:04:14
阅读次数：
55
挑战常规 -- 这位老板你是不是搞错了什么 我们是互联网起家的 你懂不懂jvm优化 你懂不懂MySQL调优 你懂不懂分布式锁 冒泡算法写一下 Hadoop原理是什么,.... 那，请问你们的当前客户量是多少？上线了没有？开发团队有多少人？原型设计有没有？ 我们已经上线了一个版本，正在内部测试。我们希 ...
分类：
其他好文 时间：
2020-06-03 13:45:20
阅读次数：
50
一、通用优化 1.1、NameNode 的元数据备份使用 SSD 1.2、定时备份 NameNode 上的元数据 建议每小时或者每天备份，如果数据极其重要，可以5~10分钟备份一次。备份可以通过定时任务复制元数据目录即可。 1.3、为 NameNode 指定多个元数据目录 使用 dfs.name.d ...
分类：
系统相关 时间：
2020-05-30 21:52:59
阅读次数：
105
SQL优化 JVM优化 hashmap的原理 hashmap碰撞解决办法 mysql数据库隔离级别 mysql乐观锁和悲观锁 线程池的原理 知道哪些设计模式，如何使用 spring的原理 spring IOC和AOP synchronized关键字的作用，使用场景 synchronized和lock ...
分类：
编程语言 时间：
2020-03-25 23:49:41
阅读次数：
147
堆大小的设置规则 如果垃圾回收发生的频率比你想的要多很多，那么可以在启动JVM的时候为其配置更大的最大堆大小值。堆被填满的时间越久，就越能降低垃圾回收发生的频率。最大堆大小值可以在启动JVM的时候，用-Xmx参数来设定。默认的最大堆大小是被设置为可用的操作系统内存的四分之一，或者最小1GB。 如果问 ...
分类：
其他好文 时间：
2020-03-23 00:29:12
阅读次数：
75
JVM字节码 前面我们通过tomcat本身的参数以及jvm的参数对tomcat做了优化，其实要想将应用程序跑的更快、效率更高，除了对tomcat容器以及jvm优化外，应用程序代码本身如果写的效率不高的，那么也是不行的，所以，对于程序本身的优化也就很重要了。 对于程序本身的优化，可以借鉴很多前辈们的经 ...
分类：
其他好文 时间：
2020-03-11 19:33:36
阅读次数：
64
JVM字节码 前面我们通过tomcat本身的参数以及jvm的参数对tomcat做了优化，其实要想将应用程序跑的更快、效率更高，除了对tomcat容器以及jvm优化外，应用程序代码本身如果写的效率不高的，那么也是不行的，所以，对于程序本身的优化也就很重要了。 对于程序本身的优化，可以借鉴很多前辈们的经 ...
分类：
其他好文 时间：
2020-03-10 20:15:46
阅读次数：
72
