记一次关闭Hadoop时no namenode to stop异常 ? 在自己的虚拟机环境上跑着hadoop集群，一直正常运行着，不用的时候直接挂起虚拟机，今天需要做些调整，但是发现集群突然无法正常关闭了。遂祭出百度大法~： 大家都知道，关闭集群的命令是 和`stop yarn.sh`,然鹅我执行完 ...
分类：
其他好文 时间：
2019-10-26 00:54:18
阅读次数：
109
当job提交至yarn之后，就会开始调度运行map任务，这里开始讲解map输入的源码分析。一个map任务的入口就是MapTask.class中的run()方法1、首先看看MapTask.run()方法MapTask.class//---------------------------------MapTask.javapublicvoidrun(JobConfjob,TaskUmbilicalPr
分类：
其他好文 时间：
2019-10-24 20:00:59
阅读次数：
69
spark streamming 程序提交到yarn 上运行 报错 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/mnt/disk3/hadoop/yarn/local/f ...
分类：
编程语言 时间：
2019-10-24 15:51:42
阅读次数：
134
前端高效开发框架技术与应用 Vue 基础 Vue 框架简介 MVX 模式介绍 Vue 框架概述 如何使用 Vue.js 基础语法 实例对象 生命周期 模板语法 计算属性 Methods 方法 渲染 列表渲染 条件渲染 事件与表单 事件处理 事件对象 事件委派 表单处理 Vue 组件 Vue 组件概述 ...
分类：
Web程序 时间：
2019-10-24 09:34:36
阅读次数：
119
What is spark.python.worker.memory? Spark on YARN resource manager: Relation between YARN Containers and Spark Executors？ When running Spark on YARN, ...
分类：
其他好文 时间：
2019-10-24 00:41:17
阅读次数：
108
hadoop架构 MapReduce:分布式计算架构 HDFS：分布式文件系统 YARN：集群资源管理系统 HDFS结构： hadoop单机模式 搭建步骤： 搭建四台服务器，分别为：server、node1、node2、node3 1、关闭防火墙和selinux 2、保证server到每一个node ...
分类：
系统相关 时间：
2019-10-24 00:31:59
阅读次数：
104
-bash: cnpm: command not found-bash: yarn: command not found-bash: xxxx: command not found如上yarn/cnpm皆通用，前提是安装成功后报这个错误哈！ Error: EACCES: permission den ...
分类：
其他好文 时间：
2019-10-23 13:46:56
阅读次数：
110
最初使用的阿里云云盘只有50G 正常运行的hadoop集群突然无法正常运行了，web页面显示节点为UNHEALTHY 使用df -m命令，发现一些节点磁盘空间占用达到了99%，因此要扩容磁盘空间 1.为云盘建立快照，以防出错 2.磁盘扩容 3.选择扩容容量，选在线扩容，付费 4.如果是centos7 ...
分类：
其他好文 时间：
2019-10-22 15:16:53
阅读次数：
110
1、Apache Flink 是一个面向分布式数据流处理和批量数据处理的开源计算平台，它能够基于同一个Flink运行时，提供支持流处理和批处理两种类型应用的功能。 现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为他们所提供的SLA(Service-Level-Aggreement， ...
分类：
其他好文 时间：
2019-10-20 21:36:40
阅读次数：
152
