添加节点、删除节点的两种方式：（1）一种是静态添加修改slaves文件，重启hadoop集群优点：改动少缺点：暴力 需要停止服务应用环境：晚上或凌晨做 不耽误使用检查：50070和8088端口检查(50070hdfs系统的web地址，8088yarn的外部端口)（2）一种是动态添加：修改slaves ...
分类：
其他好文 时间：
2018-06-02 20:43:29
阅读次数：
186
hadoop集群 动态添加或删除节点 在运行中的ambari hadoop集中中动态添加或删除节点 1. 下线hdfs节点 1) 下线datanode namenode节点上dfs.exclude文件，看配置文件怎么配置的，里每行添加一个服务器名，如我要下线server7,server8,serve ...
分类：
其他好文 时间：
2018-05-13 19:10:07
阅读次数：
204
修改slaves和spark-env.sh文件slaves spark-env.sh ...
分类：
其他好文 时间：
2018-05-02 13:24:00
阅读次数：
140
一、启动脚本分析 独立部署模式下，主要由master和slaves组成，master可以利用zk实现高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主机构成。Driver通过向Master申请资源获取运行环境。 启动master和slaves主要是执行/u ...
分类：
其他好文 时间：
2018-04-30 19:42:06
阅读次数：
219
Master的NodeManager/DateNode未启动 日志中未出现任何错误 正常现象，如需在Master中启动可在 文件中 slaves Master的ResourceManager未启动 1. 检查 2. 检查 Slave的DateNode未启动 检查 yarn site.xml Name ...
分类：
其他好文 时间：
2018-04-28 22:19:17
阅读次数：
165
查找资料 解决方法： 在两个从库上开启二进制日志即可（花了 一天时间，找不到解决方法，最后还是靠自己的理解及测试解决的，骄傲！！）具体配置不在贴上来了。 实际配置： Monitro_host上执行 没有出现这个报错 ...
分类：
其他好文 时间：
2018-03-30 20:09:32
阅读次数：
2582
1.3Hadoop基础知识 1.3.1术语解释 1.Hadoop1.0 ? 第一代Hadoop，由分布式文件系统HDFS 和分布式计算框架MapReduce组成 ? HDFS由一个NameNode和多个DataNode 组成 ? MapReduce由一个JobTracker和多个 TaskTrack ...
分类：
其他好文 时间：
2018-03-14 23:42:37
阅读次数：
259
一、前述 分享一篇hadoop的常用命令的总结，将常用的Hadoop命令总结如下。 二、具体 1、启动hadoop所有进程start-all.sh等价于start-dfs.sh + start-yarn.sh 但是一般不推荐使用start-all.sh(因为开源框架中内部命令启动有很多问题)。 2、 ...
分类：
其他好文 时间：
2018-03-07 20:07:51
阅读次数：
151
本文档介绍如何通过在 Kubernetes 集群上创建并配置 Jenkins Server 实现应用开发管理的 CI/CD 流程，并且利用 Kubernetes-Jenkins-Plugin 实现动态按需扩展 jenkins-slave。 步骤 1 安装 Kubernetes 集群 如果您没有 Ku ...
分类：
Web程序 时间：
2018-03-01 19:49:21
阅读次数：
330
Spark2.2源码下载 点此进入官网下载地址： 下载Spark spark官网下载截图 //下载好后用传输工具传输到我们的linux上并解压缩 tar -zxvf spark-2.2.0.tgz 源码编译 准备工作 根据Spark官方文档可知，需要java8+,maven 3.3.9+版本 spa ...
分类：
其他好文 时间：
2018-02-23 12:00:12
阅读次数：
214
