在hive里建一个数据库test，在数据库里建了一张表user，然后在Spark程序中使用Spark sql读取这张表 "select * form test.user" 当部署模式是spark stand模式和yarn-client模式时，程序可以正常运行，但yarn-cluster模式就报了找不 ...
分类：
数据库 时间：
2017-01-11 22:12:37
阅读次数：
1098
第一：提高并行度 并行度就是Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。 第一：提高并行度 并行度就是Spark作业中，各个stage的task数量，也就代表了Spark作业的在各个阶段（stage）的并行度。 如果不调节并行度，导致并 ...
分类：
其他好文 时间：
2016-12-16 19:19:38
阅读次数：
341
参数描述 -XX:+UseSerialGC Jvm运行在Client模式下的默认值，打开此开关后，使用Serial + Serial Old的收集器组合进行内存回收 -XX:+UseParNewGC 打开此开关后，使用ParNew + Serial Old的收集器进行垃圾回收 -XX:+UseCon ...
分类：
其他好文 时间：
2016-11-11 14:50:54
阅读次数：
263
1、Serial收集器曾经是虚拟机新生代收集的唯一选择，是一个单线程的收集器，在进行收集垃圾时，必须stop the world，它是虚拟机运行在Client模式下的默认新生代收集器。 2、Serial Old是Serial收集器的老年代版本，同样是单线程收集器，使用标记整理算法。 3、ParNew ...
分类：
其他好文 时间：
2016-11-11 14:34:03
阅读次数：
155
Serial收集器的老年代版本 单线程收集器 标记-整理算法 stop the world Client模式下的虚拟机使用 Server模式下，搭配Parallel Scavenge使用及CMS发生Concurrent Mode Failure之后的预案 ...
分类：
其他好文 时间：
2016-10-23 14:45:41
阅读次数：
145
Serial收集器：是一个单线程的收集器，使用一个CPU或一条收集线程。在进行垃圾收集时，必须暂停其他所有的工作线程，直到收集结束。在用户不可见的情况下，把正常工作的线程全部停止，对很多应用来说难以接受，所以虚拟机开发团队一直寻求消除或减少停顿时间的方法。它是虚拟机运行在Client模式下的默认新生 ...
分类：
其他好文 时间：
2016-09-06 10:26:04
阅读次数：
130
在上一篇文章中介绍了关于缓冲 区的一些细节内容，现在终于可以进入NIO中最有意思的部分非阻塞I/O。通常在进行同步I/O操作时，如果读取数据，代码会阻塞直至有 可供读取的数据。同样，写入调用将会阻塞直至数据能够写入。传统的Server/Client模式会基于TPR（Thread per Reques ...
分类：
编程语言 时间：
2016-08-27 19:21:23
阅读次数：
180
最近研究c++代码调用java的jar，发现64位的下的jvm在server路径，而32位的jvm则存在client路径下面，于是十分好奇，查了下，这里做个记录 JVM Server模式与client模式启动，最主要的差别在于：-Server模式启动时，速度较慢，但是一旦运行起来后，性能将会有很大的 ...
分类：
其他好文 时间：
2016-08-26 12:22:57
阅读次数：
186
JVM有两种运行模式Server与Client。两种模式的区别在于，Client模式启动速度较快，Server模式启动较慢；但是启动进入稳定期长期运行之后Server模式的程序运行速度比Client要快很多。这是因为Server模式启动的JVM采用的是重量级的虚拟机，对程序采用了更多的优化；而Client模式启动的JVM采用的是轻量级的虚拟机。所以Server启动慢，但稳定后速度比Client远...
分类：
其他好文 时间：
2016-08-17 12:22:20
阅读次数：
215
1. 选择JVM运行模式 a. Client模式：启动快，占用内存少，JIT编译器生成代码的速度也更快。 b. Server模式：提供了更复杂的生成代码优化功能，这个功能对服务器应用而言尤其重要。大多数Server模式的JIT的编译优化都要消耗额外的时间以收集更多的应用程序行为信息，为应用程序运行生 ...
分类：
其他好文 时间：
2016-07-01 10:21:45
阅读次数：
187
