Yarn是什么？ “Yarn是由Facebook、Google、Exponent 和 Tilde 联合推出了一个新的 JS 包管理工具 ，正如官方文档中写的，Yarn 是为了弥补 npm 的一些缺陷而出现的。”这句话让我想起了使用npm时的坑了：- npm install的时候巨慢。特别是新的项目拉 ...
分类：
其他好文 时间：
2020-05-06 11:53:11
阅读次数：
59
一、关于UI地址 master: 8080 worker: 8081 application: 4040 (用来查看正在运行的app的情况, 一旦这个应用结束, 则无法查看) 二、历史服务器（这里说明yarn模式） 1、 配置历史服务器 1）spark-defaults.conf 默认配置 spar ...
分类：
其他好文 时间：
2020-05-05 00:33:46
阅读次数：
60
问题 为防止因为虚拟机内存过少，进程被杀死，需要关闭yarn的内存检测 yarn-site.xml <!--是否启动一个线程检查每个任务正使用的物理内存量，如果任务超出分配值，则直接将其杀掉，默认是true --> <property> <name>yarn.nodemanager.pmem-che ...
分类：
其他好文 时间：
2020-05-04 21:34:02
阅读次数：
99
最近的工作是利用Hive做数据仓库的ETL转换，大致方式是将ETL转换逻辑写在一个hsql文件中，脚本当中都是简单的SQL语句，不包含判断、循环等存储过程中才有的写法，仅仅支持一些简单的变量替换，比如当前账期等。然后通过一个通用的shell脚本来执行hsql文件。该脚本是主要是调用了hive -f ...
分类：
移动开发 时间：
2020-05-04 19:41:21
阅读次数：
296
下面记录下YARN的服务组件和提交流程的基础知识，主要参考文末博文，其中 提交流程部分直接引用 ，感谢被引用的博主 "PeTu" 。 YARN介绍 YARN是在Hadoop2.0引入的，它的出现是历史的产物。在Hadoop1.0版本时，有JobTracker和TaskTracker来完成资源调度和任 ...
分类：
其他好文 时间：
2020-05-04 19:18:43
阅读次数：
85
一、简介 Hadoop是使用Java编写，允许分布在集群，使用简单的编程模型的计算机大型数据集处理的Apache的开源框架。 解决的问题： （1）海量数据的存储 [HDFS] （2）海量数据的分析 [MapReduce] （3）资源管理调度 [YARN] 二、hadoop架构 在其核心，Hadoop ...
分类：
其他好文 时间：
2020-05-03 10:26:41
阅读次数：
66
可以用此插件：https://github.com/FranckFreiburger/http-vue-loader <script src="https://cdn.jsdelivr.net/npm/http-vue-loader@1.4.2/src/httpVueLoader.min.js">< ...
分类：
Web程序 时间：
2020-04-29 15:13:42
阅读次数：
72
Hadoop 2.x 集群安装，包括 HDFS 集群、Yarn 集群以及 MapReduce 的安装
分类：
其他好文 时间：
2020-04-29 10:44:59
阅读次数：
76
注意是否是NAT模式 可以将 etc/sysconfig/network-script/ifcfg-** 的文件删掉 ，然后在虚拟网络编辑器还原一下设置重新分配ip 分配新的ip后之前的 yarn resourcemanager 启动不了了 需要 <property> <name>yarn.reso ...
分类：
其他好文 时间：
2020-04-27 11:17:17
阅读次数：
75
一、使用npm安装 npm install -g yarn 二、查看yarn版本 yarn --version 三、配置淘宝源 yarn config set registry https://registry.npm.taobao.org -g yarn config set sass_binar ...
分类：
其他好文 时间：
2020-04-26 10:46:33
阅读次数：
68
