一、spark的三种提交模式 1、第一种，Spark内核架构，即standalone模式，基于Spark自己的Master-Worker集群。 2、第二种，基于YARN的yarn-cluster模式。 3、第三种，基于YARN的yarn-client模式。 如果，你要切换到第二种和第三种模式，在提交 ...
分类：
其他好文 时间：
2018-08-21 15:09:19
阅读次数：
309
当虚拟机运行在-client模式的时候,使用的是一个代号为C1的轻量级编译器, 而-server模式启动的虚拟机采用相对重量级,代号为C2的编译器. C2比C1编译器编译的相对彻底,服务起来之后,性能更高… 重点：在部分JDK1.6版本和后续的JDK版本(64位系统)中，-client参数已经不起作 ...
分类：
编程语言 时间：
2018-07-18 20:44:48
阅读次数：
245
新生代收集器 Serial收集器 它是最基本、历史最悠久的收集器，在JDK1.3.1之前是虚拟机新生代收集的唯一选择。它是一个单线程的收集器，到现在为止，它依然是虚拟机运行在Client模式下的默认的新生代收集器。优点：简单高效。 特点：只会使用一个CPU或一条收集线程去完成垃圾收集工作，在进行垃圾 ...
分类：
编程语言 时间：
2018-07-18 15:15:08
阅读次数：
177
现在越来越多的场景，都是Spark跑在Hadoop集群中，所以为了做到资源能够均衡调度，会使用YARN来做为Spark的Cluster Manager，来为Spark的应用程序分配资源。 在执行Spark应用程序前，要启动Hadoop的各种服务。由于已经有了资源管理器，所以不需要启动Spark的Ma ...
分类：
其他好文 时间：
2018-07-16 14:13:23
阅读次数：
209
使用如下命令执行应用程序: 和"基于YARN的Resource Manager的Client模式（集群）"运行模式，区别如下： 在Resource Manager端提交应用程序，会生成SparkSubmit进程，该进程只用来做Client端，应用程序提交给集群后，就会删除该进程。 Resource ...
分类：
其他好文 时间：
2018-07-16 14:11:16
阅读次数：
203
这种运行模式和"Spark自带Cluster Manager的Standalone Client模式（集群）"还是有很大的区别的。使用如下命令执行应用程序（前提是已经启动了spark的Master、Worker守护进程）不用启动Hadoop服务，除非你用到了HDFS的内容。 各节点启动的JVM进程情 ...
分类：
其他好文 时间：
2018-07-16 12:33:59
阅读次数：
409
Java GC类型 Java中的GC有哪几种类型？ 参数 描述 UseSerialGC 虚拟机运行在Client模式的默认值，打开此开关参数后， 使用Serial+Serial Old收集器组合进行垃圾收集。 UseParNewGC 打开此开关参数后，使用ParNew+Serial Old收集器组合 ...
分类：
编程语言 时间：
2018-07-09 14:12:48
阅读次数：
236
Hive 用户接口主要有三个：命令行(CLI)，客户端(Client) 和 Web界面(WUI)。其中最常用的是 CLI，启动的时候，会同时启动一个 Hive 服务。Client 是 Hive 的客户端，用户连接至 Hive Server。在启动 Client 模式的时候，需要指出 Hive Ser ...
分类：
其他好文 时间：
2018-07-05 18:21:05
阅读次数：
189
先抛出问题：Spark on Yarn有cluster和client两种模式，它们有什么区别？ 用Jupyter写Spark时，只能使用client模式，为什么？ 写一篇文章，搞清楚 Spark on Yarn 的运行原理，同时回答上面的问题。 首先，把Spark和Yarn当做两个独立概念来看。单看 ...
分类：
其他好文 时间：
2018-07-03 14:57:21
阅读次数：
141
一.GC收集的工具 1.Servial收集器 特点：历史悠久，单线程收集，复制算法，，stop the world，收集新生代，简单高效，专心收集，没有线程切换开销 用在Client模式下是一个非常好的选择。 2.ParNew收集器 特点：就是serial收集器的多线程版本，可控参数回收算法都与se ...
分类：
其他好文 时间：
2018-06-22 01:03:05
阅读次数：
157
