启动集群及监控 进入目录 cd /usr/local/hadoop-2.6.5/sbin/ 启动整个集群组件 ./start-dfs.sh 启动yarn集群 ./start-yarn.sh 启动日志服务 ./mr-jobhistory-daemon.sh start historyserver 查看 ...
分类：
其他好文 时间：
2020-07-04 16:57:27
阅读次数：
64
（1）MR程序提交到客户端所在的节点。（2）YarnRunner向ResourceManager申请一个Application。（3）RM将该应用程序的资源路径返回给YarnRunner。（4）该程序将运行所需资源提交到HDFS上。（5）程序资源提交完毕后，申请运行mrAppMaster。（6）RM ...
分类：
其他好文 时间：
2020-07-04 15:14:37
阅读次数：
54
工作流程1 Map Task MR工作流程2 Reduce Task 1）提交切片信息，jar包，和xml配置文件到yarn。2）Yarn ResourceManager启动一个MR AppMaster。3）AppMaster根据切片信息启动相应数量的Map Task。4）Map Task取读取按照 ...
分类：
其他好文 时间：
2020-07-03 23:29:37
阅读次数：
60
Installation Problem: [TypeError [ERR_INVALID_ARG_TYPE]: The "path" argument must be of type string. Receiv ed type boolean] #7985 yarn 运行问题 TypeError ...
分类：
其他好文 时间：
2020-07-03 01:07:37
阅读次数：
86
1.Node环境安装（版本至少超过6） 查看node版本: node -V 2.包管理工具（npm/cnpm/yarn) 1）查看版本: npm -v (版本至少超过3） cnpm -v yarn -v 2）查看镜像源： npm config get registry > https://regis ...
分类：
其他好文 时间：
2020-07-02 16:10:41
阅读次数：
60
Hadoop的广义与狭义之分 狭义的Hadoop:指的是一个框架，Hadoop是由三部分组成：HDFS:分布式文件系统--》存储；MapReduce:分布式离线计算框架--》计算；Yarn:资源调度框架 广义的Hadoop:广义的Hadoop不仅仅包含Hadoop框架，除了Hadoop框架之外的一些 ...
分类：
其他好文 时间：
2020-06-30 22:14:42
阅读次数：
67
1. typescript 版本 "@types/node": "^12.12.6", 不能用最新的 2. electron的配置里面 background.ts -->> nodeIntegration: true 3.引入antd of vue less-loader 版本 需要 5.0.0 按 ...
分类：
其他好文 时间：
2020-06-30 14:25:56
阅读次数：
133
安装JDK1.8 查看JDK1.8的安装 https://www.cnblogs.com/TJ21/p/13208514.html 安装hadoop 上传hadoop 下载hadoop 地址http://mirrors.hust.edu.cn/apache/hadoop/common/ 放到mkdi ...
分类：
其他好文 时间：
2020-06-29 17:13:37
阅读次数：
53
全栈的自我修养: 使用@vue/cli进行vue.js环境搭建 Success, real success, is being willing to do the things that other people are not. 成功，真正的成功，是愿意做别人不愿意做的事情。 Table of C ...
分类：
编程语言 时间：
2020-06-29 15:09:32
阅读次数：
80
1.Error initializing SparkContext. 20/06/29 05:52:43 INFO yarn.Client: Deleted staging directory hdfs://master:9000/user/hadoop/.sparkStaging/applicat ...
分类：
其他好文 时间：
2020-06-29 15:02:48
阅读次数：
96
